اكتشاف ثوري: تحسين نماذج اللغات الصغيرة باستخدام Looped GPT-BERT!

تحت شعار "الإبداع مع محدودية البيانات"، توصل الباحثون إلى تقنية Looped GPT-BERT التي تظهر قدرة فائقة في تحسين أداء نماذج اللغات الصغيرة رغم محدودية عدد المعلمات (parameters). في الدراسة المعنونة "BabyLM 2026 Strict-small"، تم دمج أهداف نمذجة اللغة بشكل متقاطع، حيث تعتمد Looped GPT-BERT على مشاركة المعلمات بشكل عمقي.

تمت تجربة Looped GPT-BERT على مجموعة بيانات إنجليزية تتكون من 7.48 مليون كلمة، ومن خلال مقارنة النسب الموضوعية والهياكل غير المتكررة مع الهياكل المتكررة، تم الوصول إلى نموذج نهائي يحتوي على 12.18 مليون معلمة.

ظهرت نتائج نموذج Looped GPT-BERT بمعدل إجمالي بلغ 35.42 في تصنيف BabyLM 2026، مع تحقيق متوسط 48.48 في تقييم اللغة الطبيعية (NLP). عندما تم مقارنة الأداء مع نماذج مثل GPT-2 وGPT-BERT على مهام لغوية متقدمة، أظهر Looped GPT-BERT نتائج مشجعة لكن مع عدد أقل من المعلمات.

وتظهر اختبارات الحلقة أن إدخال حسابات متكررة إضافية يعزز فعالية التدريب ويُحافظ على أداء قوي في مجموعة مختارة من المهام اللغوية. ومع ذلك، فإن الأداء المنخفض في مهام أخرى قد يكشف عن قيود تصميم الحلقة، حيث يؤدي استخدام عدد قليل من الطبقات الفيزيائية إلى تقييد مساحة تمثيل النموذج.