في دراسة مبتكرة نُشرت على موقع arXiv، تم استكشاف قوانين التوسع لنماذج OpenEuroLLM، التي تعتبر جزءًا من عائلة نماذج اللغات الكبيرة (Large Language Models). تركز الدراسة على فهم كيفية تأثير سرعة التعلم (Learning Rate) وحجم الدفعات (Batch Size) على أداء النماذج أثناء مرحلة التدريب.

بالإضافة إلى ذلك، تم تحليل كيفية تطور سرعة التعلم وحجم الدفعات مع زيادة سعة النموذج وحجم البيانات المستخدمة، مما يسمح بتطوير نموذج قادر على التقاط هذه العلاقات المعقدة. ومن خلال اعتماد نظام جدولة خاص لسرعة التعلم يُعرف باسم Warmup-Stable-Decay، تم استكشاف فوائد تعديل سرعة التعلم عبر مجموعة واسعة من إعدادات المعلمات والبيانات.

تناولت الدراسة أيضًا ما إذا كان بالإمكان نقل سرعة التعلم وحجم الدفعات المثلى بين المرحلتين الثابتة والمتدهورة.

من خلال تقييم كيفية اعتماد الخسارة (Loss) على سعة النموذج وحجم مجموعة البيانات، تم التحقق من النماذج التوسعية المقترحة حديثًا التي تصف هذا التفاعل. وجدت الدراسة أن هذه الأساليب فعّالة بشكل خاص في التقاط الفترات التي تعاني من نقص في التدريب وتلك التي تعاني من فرط التدريب.

تأسيسًا على هذه الدراسة، تم إنشاء قاعدة أساسية وإجراء توسعي لتطوير نماذج OpenEuroLLM في المستقبل. كما تم توفير مجموعة كاملة من عمليات التدريب المبدئي المستخدمة في هذه الدراسة كمصدر مفتوح، مما يسمح للباحثين والمطورين بالوصول إلى البيانات والاستفادة منها في أبحاثهم.