دراسة جديدة تكشف كيف يؤثر التعلم المعزز على نماذج اللغات الضخمة بعد التدريب

تعد دراسة التعلم المعزز (Reinforcement Learning - RL) لحظة فارقة في عالم نماذج اللغات الضخمة (Large Language Models - LLMs)، حيث تستكشف الطريقة التي تعزز بها نماذج الذكاء الاصطناعي في أداء مهام التفكير المعقدة. رغم ذلك، لا تزال العلاقة بين التدريب المسبق (Pretraining) وما بعده (Post-training) تفصح عن أسئلة غامضة.

أظهرت دراسة جديدة قدرة التعلم المعزز على تحسين أداء نماذج اللغات الضخمة في ظل ظروف تحكم صارمة، مستخدمة لعبة الشطرنج كأداة اختبار. يتساءل الباحثون: كيف تؤثر الخيارات خلال مرحلة ما قبل التدريب، مثل حجم النموذج والبيانات المستخدمة، على النتائج المتحققة أثناء التعلم المعزز؟ وأيضاً، ما الدور الذي يلعبه التعلم المعزز فعليًا في تغيير سلوك النموذج؟

تواجه هذه الأسئلة صعوبات كثيرة بسبب ضخامة البيانات المستخدمة في مرحلة التدريب المسبق، مما يجعل من الصعب تحديد التأثيرات بدقة. لذا تم استخدام بيئة الشطرنج كاختبار محكم. حيث تم تدريب نماذج لغوية تتراوح بين 5 ملايين إلى مليار معلمة بناءً على ألعاب الشطرنج البشرية، ثم تحسين الأداء من خلال المعرفة الاصطناعية.

نتائج الدراسة أظهرت أن الأداء بعد التعلم المعزز يمكن التنبؤ به بشكل موثوق من خسارة التدريب المسبق، وأن درجات المكافآت الناتجة عن التعلم المعزز تتحسن بشكل طردي مع عدد الرموز المستخدمة في ما قبل التدريب. وفي خضم هذه عملية التعلم، لوحظ أن التعليم المعزز لا يقتصر على تحسين أداء نماذج تعلم سياسة التعليم الخاضع للإشراف (Supervised Fine-Tuning - SFT) فحسب، بل يعزز التعزيزات الصحيحة في الألغاز السهلة، بينما يكشف أيضا عن التحركات الصحيحة النادرة في الألغاز الصعبة.

للتأكد من أن هذه النتائج يمكن تطبيقها خارج نطاق الشطرنج، تم تطبيق نفس أسلوب التدريب على نصوص رياضية، حيث تم ملاحظة نمط تنبؤ مماثل: كانت النماذج المدربة لفترة أطول تحقق نتائج أفضل بعد التعلم المعزز وتتحسن بسرعة أكبر.

باختصار، تقدم هذه الدراسة تحليلاً كميًا لعلاقة ما قبل التدريب بالتعلم المعزز، وتوفر بيئة اختبار محكمة لدراسة علوم التفكير عبر مراحل التدريب المختلفة.
أهلاً بآرائكم وتجاربكم في هذا المجال! ما رأيكم في هذه التطورات المذهلة؟ شاركونا في التعليقات.