تعتبر نماذج اللغة الكبيرة الموزعة (Diffusion Large Language Models - dLLMs) تحوّلًا جديدًا في عالم الذكاء الاصطناعي، حيث تقدم طريقة بديلة لفك الترميز بدلًا من عملية التوليد التكرارية التقليدية. ومع ذلك، تعاني هذه النماذج من الحاجة إلى خطوات عديدة قبل أن يصل مستوى الثقة في الرموز إلى الحد المطلوب لفك الترميز، مما يؤدي إلى كفاءة ضعيفة أثناء عملية الاستدلال.
لتسريع استدلال dLLM، تم تقديم إطار العمل الجديد 'تشفير الباكر' (Early-Bird - EB)، الذي يستند إلى ملاحظات تؤكد أن الرموز ذات مستويات عدم اليقين المنخفضة عادةً ما تتجمع، مما يسمح بفك ترميزها بشكل مشترك قبل الوصول إلى مستوى الثقة المطلوب.
يشمل إطار 'EB-Decode' عنصرين أساسيين:
1. شبكة قابلة للتعلم تجمع بشكل متكيف الرموز ذات عدم اليقين المماثل في كتل متغيرة الطول، بدلاً من الاعتماد على أحجام كتل ثابتة.
2. عينة واعية للموقع تتعلم فك رموز الرموز بشكل متزامن باستخدام خطوات فك ترميز أقل ضمن الكتل المتغيرة الطول المتوقعة.
تم تطوير كلا العنصرين دون تعديل أوزان dLLM المدربة مسبقًا، مما يسمح بنشرها بسهولة كإضافات أثناء خدمة النماذج، مع زيادة طفيفة في أعباء التدريب والاستدلال. وقد أثبتت التجارب المكثفة عبر ثلاثة نماذج وأربعة مقاييس فاعلية 'EB-Decode'، حيث تحققت زيادة تتراوح بين 3.53 و 18.76 مرة في إنتاجية الأداء مقارنةً بالطريقة التقليدية، بالإضافة إلى زيادة تصل إلى 1.58 مرة بالمقارنة مع أقوى نموذج أساسي، Fast-dLLM، مع الحفاظ على دقة مشابهة.
تسريع نماذج اللغة الكبيرة عبر تقنيات جديدة: اكتشف إطار العمل الثوري في فك الترميز المبكر
تمثل نماذج اللغة الكبيرة الموزعة (dLLMs) مستقبلًا واعدًا في تقنية فك الترميز، حيث تقدم طريقة مبتكرة لتسريع العملية بشكل ملحوظ. فرانشيز 'EB-Decode' هو الحل الجديد الذي قد يغير قواعد اللعبة في هذا المجال.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
