أعلن الباحثون عن تقنية XFP، وهي خوارزمية جديدة تهدف إلى تحقيق تحسينات كبيرة في عملية استنتاج نماذج اللغات الضخمة (Large Language Models - LLM) من خلال قياس الوزن الديناميكي. تتميز هذه التقنية بعكس سير العمل التقليدي، حيث تقوم الجهة المشغلة بتحديد معايير الجودة لضمان جودة إعادة البناء بناءً على التشابه الكوني في القنوات. يتمثل الابتكار في أن XFP تحدد تلقائيًا حجم قاعدة البيانات، ميزانية القيم الشاذة، وعبوات البيانات لكل طبقة، مما يجعلها فريدة من نوعها.
رحب العالم التقني بتفاصيل هذه التقنية، حيث أن كل مصفوفة وزن تُحلل إلى مكونين: بقايا شاذة ذات كثافة خفيفة باستخدام صيغة fp16، ومؤشر كثيف فرعي، يتم تخزينهما في قاعدة بيانات تم تعلمها لكل مجموعة. تتضمن XFP وضعين للتخزين يتشاركان في الواجهة الأمامية الديناميكية و نواة فك الشيفرة المدمجة.
المثير في هذه التقنية هو أداؤها المذهل. على سبيل المثال، على نموذج Qwen3.5-122B-A10B تحت وضع V2، حققت XFP سرعة 138 توكن/ثانية في فك الشيفرة، مما يجعلها أسرع بنسبة 49% من تقنية Marlin INT4. هذا الإنجاز المدهش يظهر قدرات XFP على تسريع عمليات استنتاج نماذج اللغات الضخمة مع الحفاظ على جودة النتائج.
بالإضافة إلى ذلك، تم تقديم عملية H-Process، التي تركز على الجودة وتضمن أن النموذج يشغل مساحة الذاكرة المخصصة له أثناء إنتاج نتائج معقولة. يتيح ذلك استخدام التكوين الكامل للخبراء في نموذج Qwen3.5-397B-A17B، مع زيادة دقة وفعالية الأداء على مجموعة مشاكل كبيرة.
تحمل هذه التقنية الجديدة واعد مستقبل الذكاء الاصطناعي، مما يمهد الطريق لتحسينات غير مسبوقة في سرعة وكفاءة نماذج اللغات الضخمة. إن XFP ليست مجرد ابتكار تقني، بل هي خطوة ثورية قد تغير قواعد اللعبة في هذا المجال.
إطلاق XFP: ثورة في تقنيات قياس الوزن الديناميكي لنماذج اللغات الضخمة!
تعد تقنية XFP الجديدة خطوة مبتكرة في تحسين أداء نماذج اللغات الضخمة من خلال قياس ديناميكي للأوزان، مما يؤدي إلى زيادة في السرعة والدقة. تعرفوا على كيفية عمل هذه التقنية الثورية وتأثيرها على مستقبل الذكاء الاصطناعي.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
