هل تساءلت يومًا كيف يمكن تحسين أداء نماذج اللغة؟ تم الإعلان مؤخرًا عن CAI-DLLM، وهي تقنية جديدة من شأنها إشعال ثورة في كيفية تعاملنا مع نماذج اللغة المتقدمة.

تستطيع نماذج اللغة الانتشار (Diffusion Language Models) أن تولد الكثير من الرموز (tokens) في وقت واحد، ولكنها تحتاج إلى خطوات إزالة التشويش (denoising) المتكررة خلال عملية الاستدلال (inference). هذا يزيد من تكلفة الجيل، خاصة عندما يستمر النموذج في إعادة حساب الرموز التي أصبحت مستقرة بالفعل.

ولحل هذه المشاكل، تقدم CAI-DLLM طريقة استدلال بلا تدريب (training-free inference) تستخدم ثقة الخطوة الأولى (first-step confidence) لتوجيه عملية إزالة التشويش وتقليل وقت الاستدلال. تكمن فكرة CAI-DLLM في الالتزام بالرموز السهلة في وقت مبكر، وتخصيص المزيد من خطوات إزالة التشويش للرموز الأكثر صعوبة، وضبط جداول فك الشفرة (decoding schedules) عبر كتل المخرجات.

تجدر الإشارة إلى أن هذه التقنية لا تتطلب إعادة تدريب أو استخدام متنبئين إضافيين أو تحديثات للأوزان، مما يجعلها أكثر فعالية.

قام الباحثون بتقييم CAI-DLLM على نماذج LLaDA-8B-Instruct وDream-7B-Instruct عبر تعدادات الرياضيات، الشيفرة، المنطق، الفطرة السليمة، ومهام السياق الطويل. وقد تحقق تقدم كبير في السرعة، حيث حققت CAI-DLLM تسريعًا يصل إلى 18.2 مرة في زمن الاستدلال على LLaDA GSM8K، مع تحسين الدقة من 76.27% إلى 77.41%. كما حققت تسريعًا يصل إلى 13.1 مرة على Dream HumanEval، مع معدل نجاح أعلى من تقنية عدم التخزين المؤقت، حيث بلغ 48.17% مقارنة بـ 46.95%.

في المهام الأكثر صعوبة، وصلت نسب التسريع إلى 44.8 مرة، مع أقل انخفاض في الدقة بلغ 4.4 نقاط، بينما انخفض استهلاك الطاقة بنسبة تصل إلى 95.3%. هذا الابتكار قد يفتح أفقًا جديدًا في استخدام نماذج اللغة المتطورة بطريقة أكثر فعالية وكرمًا للطاقة.

ما رأيكم في هذا التطور الجديد؟ هل تعتقدون أن CAI-DLLM ستحقق تحولًا في عالم الذكاء الاصطناعي؟ شاركونا في التعليقات!