تُعتبر نماذج اللغة الكبيرة (Large Language Models) من أهم التطورات في مجال الذكاء الاصطناعي، وتدريبها يتطلب فهماً دقيقاً لمعدل التعلم. في دراسة حديثة نُشرت على arXiv، تناول الباحثون موضوع "غير الخطية في تحديد معدل التعلم" وأثرها على تدريب موديلات مثل GPT-2.

عادةً ما يفترض الخبراء أن معدل التعلم الأمثل يتبع قانوناً خطياً أثناء معالجة البيانات، مما يعني أن التحولات في حجم البيانات أو في عدد المعلمات تؤدي إلى تغييرات متناسبة في معدل التعلم. ومع ذلك، أظهرت الدراسة أن هذا الأمر ليس صحيحاً في حال الوصول إلى أحجام كبيرة، حيث يبدأ منحنى معدل التعلم بالميل نحو الأعلى، مما قد يؤدي إلى تقديرات غير دقيقة إذا تم الاعتماد فقط على الأساليب التقليدية.

عبر تحليل تجريبي شمل نماذج GPT-2 من 22 مليون إلى 707 مليون معلمة، تم تقييم معدلات التعلم المثلى على بيانات تتراوح بين 5 مليارات إلى 100 مليار توكن، وأظهرت النتائج أن غير الخطية تلعب دوراً حاسماً في عملية التقدير. عندما يُستبدل معدل التعلم بمعدل التعلم الفعال، يظهر عدم الانحراف الخطّي بشكل كبير. بالإضافة إلى ذلك، أوضحت الدراسة أن معدل الوزن (weight norm) يتطلب وقتاً أطول للوصول إلى حالة التوازن في ظل معدلات تعلم منخفضة، مما يتطلب خطوة أكبر لتقليل المرحلة الانتقالية.

التجارب باستخدام خوارزمية AdamH، التي تتحكم بشكل مباشر في معدل التعلم الفعال، دعمت هذه النتائج، مما يفتح آفاقًا جديدة لفهم وتطبيق استراتيجيات التدريب لنماذج اللغة الكبيرة بشكل أكثر فاعلية. هذه الدراسة توفر استراتيجية جديدة لتحسين عمليات التدريب وتقليل التكلفة بشكل فعال بينما توفر نماذج أكثر دقة وقوة.