إصلاح مشكلة تكرار الكلمات في نماذج اللغة: إطار عمل مبتكر لمواجهة انهيار الانتباه

في عالم الذكاء الاصطناعي، تواجه نماذج اللغة الذاتية (autoregressive language models) مشكلة مكررة تُعرف بانهيار الانتباه (attention collapse). يتمثل هذا الانهيار في حلقة مفرغة من تكرار الرموز، حيث ينحصر النموذج في أنماط تتكرر بشكل ذاتي. ورغم الجهود القائمة، لا تزال الحلول الحالية تعجز عن معالجة هذه المشكلة من جذورها.

مؤخراً، تم تقديم إطار عمل جديد يقوم بفرض عقوبات على الثقة غير الطبيعية الناجمة من أنماط التوليد المنهارة. يعتمد هذا الإطار على مقارنة تكرار رموز معينة بتكرارها في مجموعة البيانات الأصلية من خلال بناء احتمالية مشروطة متجاورة (adjacent-conditional probability).

تظهر هذه العملية من خلال نسبة العقوبة ذاتية الضبط ($R=f(m,n,p)/f(np,n,p)$) التي لا تتطلب توحيداً معقداً. تعتمد العقوبة على متوسط متحرك أسي، ما يسمح بدمجها كآلية إصلاح للنماذج التي تعرّضت للانهيار دون إحداث تغييرات جذرية في خطوط التدريب التقليدية.

أثبتت التجارب التي أجريت على نموذج يحتوي على 1.5 مليار معامل، أن هذه الآلية قادرة على إنقاذ نموذج تعرّض للانهيار، حيث تم تقليل معدل التكرار من 0.073 إلى مستوى قريب من الصفر، مع الحفاظ على جودة التوليد.

إن هذا الإطار المبتكر يعد نقطة تحول في تحسين أداء نماذج اللغة، فما رأيكم في هذا الإنجاز؟ شاركونا في التعليقات.