في عالم الذكاء الاصطناعي (AI)، يعتبر التدريب الفعال لنماذج اللغات الضخمة (Large Language Models) تحديًا كبيرًا. ومع ذلك، توصل الباحثون إلى طريقة جديدة لنقل المعلمات (hyperparameter transfer) بين النماذج، مما يمكّنهم من استغلال أفضل المعلمات من النماذج الصغيرة إلى الكبيرة. في مقالة جديدة، قُدِّم إطار عمل مبتكر لتقييم عملية نقل المعلمات من خلال ثلاث مقاييس رئيسة: جودة مطابقة قانون القياس، متانة مواجهة أخطاء الاستقراء، والعقوبة الناتجة عن اختيار المعلمات.

كشفت الدراسة عن استخدام المعلمات القصوى (Maximal Update - μP) كأسلوب يحقق نقلة نوعية في جودة نقل معدل التعلم مقارنةً بالممارسات القياسية (Standard Parameterization - SP). كان اكتشاف الباحثين حاسمًا، حيث تم تقديم الدليل على أن تحسين معدل تعلم طبقة الإدخال يُعتبر العامل الأهم في تحسين أداء التدريب. بينما كانت طبقة الإدخال في SP تمثل نقطة ضعف في التدريب، فإن زيادة معدل تعلمها بشكل يتناسب مع μP عززت من استقرار التدريب.

وعلاوة على ذلك، أوضح المحللون أن استخدام انحدار الوزن (weight decay) يمكن أن يحسن مطابقة قانون القياس، لكنه قد يؤدي إلى تراجع المرونة في مواجهة أخطاء الاستقراء. مع هذه النتائج، تفتح الأبواب أمام مستقبل واعد في مجال تدريب نماذج الذكاء الاصطناعي، مما يعزز من كفاءتها وقدرتها على التعامل مع المهام المعقدة.