كيف تمنع انهيار النماذج؟ اكتشفوا تقنية ‘خسارة الدلالية’ الثورية!

في عالم النماذج اللغوية، تواجه تقنيات الضبط الدقيق التقليدي في مهام التفكير السببي تحديات كبيرة، تتمثل في خطر انهيار النماذج. فعندما تُدرّب النماذج مثل Gemma 270M على مهام مثل التتابع والدّفعيّة، يمكن أن يحدث ما يعرف بانهيار النموذج، حيث يتعلم النظام تقديم حلول بسيطة مثل دائمًا توقع 'نعم' أو 'لا' بغض النظر عن هيكل الإدخال.

تشير الأبحاث إلى أن تطبيق الضبط الدقيق بدون آلية للتحكم في الخسارة الدلالية يؤدي إلى معدل انهيار يصل إلى 100%، حيث تمت الإشارة إلى أن دقة النموذج قد تصل إلى 73.9%، لكن دون أي استيعاب حقيقي للتفكير السببي. هنا، يبرز الابتكار؛ حيث تم تقديم وظيفة خسارة دلالية جديدة مع قيود منطقية قائمة على الرسوم البيانية، بالإضافة إلى جدولة ديناميكية لمتغير الجمع (lambda).

هذا النهج الجديد يحقق دقة 70.4% في مهام التتابع و68.6% في مهام الدّفعيّة، مع إجابات مستقرة تُعتمد على السياق. وهذا يمثل تحسنًا بنسبة 42.7% مقارنة بالنماذج التي انهارت. يوضح التقييم العدائي على 1,000 من نماذج التفكير الهيكلي أن النماذج الدلالية تحقق دقة تتراوح بين 67-70% في حين تفشل النماذج المنهارة بشكل كارثي عند 43-71%.

نحن نؤكد أهمية خسارة الدلالية كعنصر حيوي وليس اختياريًا لتحقيق التفكير السببي المستقر في نماذج التحويل، مما يفتح آفاقًا جديدة للبحث والتطوير في هذا المجال.