في إطار التطورات السريعة في مجال الذكاء الاصطناعي، أعلن باحثون عن دراسة جديدة تستكشف استخدام طرق تعلم غير تقليدية لنماذج اللغة الكبرى (Large Language Models). هذه الدراسة التي نشرت في arXiv، تناقش تحديات تدريب النماذج في بيئات مفتوحة حيث لا يعرف الأفق الزمني مسبقًا.

رغم أن العديد من وصفات التدريب الحالية تعتمد على جداول تعلم تعتمد على أفق زمني، إلا أن البحث الجديد يقدم تحليلاً نظريًا يكشف عن إمكانية وجود جداول تعلم متاحة في أي وقت. يكمن المفتاح هنا في دمج الأوزان، والذي يُعرف أيضًا بعملية دمج النموذجات، لتحقيق معدلات تقارب مثالية لفقدان الاتجاه الاحتمالي في الانحدار المتدرج.

بدوره، أظهر البحث أنه يمكن لجداول التعلم التي لا تعتمد على الأفق الزمني أن تتدهور بشكل بوليني مع مرور الوقت، ويحدد معدل التدهور بحسب ظروف المصادر والقدرات للمشكلة المطروحة. قام الباحثون بتقييم نماذج لغة تتراوح معاييرها بين 150M و300M، تم تدريبها على نطاق يصل إلى 32 ضعفًا من مقاييس Chinchilla، وقاموا بدراسة جداول التعلم الثابتة وجداول التعلم ذات المتغير الذي يعتمد على الجذر التربيعي للزمن.

أظهرت النتائج أن الجداول التي لا تعتمد على الأفق الزمني حققت فقدان نهائيComparablese مقارنةً بجداول الزاوية المعززة بشكل جيد.

تؤكد هذه النتائج على أن دمج الأوزان مع أحجام خطوات بسيطة، دون الاعتماد على الأفق الزمني، يوفر بديلاً فعالاً وعمليًا لجداول التعلم الزاوي لنماذج اللغة الكبرى في مرحلة التدريب.