d3LLM؟">ما يميز d3LLM؟
تتمثل أبرز الميزات في كيفية معالجة النموذج للتجارة بين الدقة والسرعة. أثناء مرحلة التدريب، يتم استخدام أسلوب يسمى "التقطير الكاذب" لتعليم النموذج أي الرموز يمكن فك تشفيرها بثقة في المراحل المبكرة، مما يزيد من سرعة المعالجة. وهذا يعني أن d3LLM يستطيع معالجة المهام بشكل أسرع، مع الحفاظ على مستوى عالٍ من الدقة.
وعند مرحلة الاستنتاج، يعتمد النموذج تقنية فك تشفير متعددة الكتل تعتمد على قياس الافتقار إلى اليقين (Entropy)، مما يساعد على تحقيق سرعة عالية دون التضحية بالدقة.
نتائج التجارب">نتائج التجارب
أظهرت التجارب أن نموذج d3LLM يمكن أن يحقق زيادة في السرعة تصل إلى 10 مرات مقارنةً بنموذج LLaDA/Dream القياسي، و5 مرات أسرع من نماذج AR دون التأثير الكبير على الجودة. لتقييم الأداء، تم تقديم مقياس جديد يسمى "الدقة تحت التوازي" (AUP)، الذي يقيس الدقة والتوازي في آن واحد.
الابتكار في هذا النموذج ليس فقط في السرعة، بل أيضًا في الطريقة التي يتم بها قياس الأداء، مما يوفر رؤية شاملة لنجاح النماذج اللغوية.
إذا كنت مهتمًا بتجربة d3LLM، يمكنك العثور على الشيفرة المصدرية على GitHub.
ما رأيكم في هذا التطور المثير؟ شاركونا أفكاركم في التعليقات!