في عالم الذكاء الاصطناعي، يتطلب استخدام نماذج اللغات الضخمة (Large Language Models) الاقتراب الشامل من عمليات التعلم والتدريب. ولعل من أبرز المفاهيم الجديدة التي تم التطرق إليها هو "تحسين SFT"، أو التعلم الذاتي للنماذج، الذي يخضع لتحديات كبيرة في سبيل تحقيق الأداء العالي.

ما يحدث غالبًا هو أن عمليات تحسين SFT تُجرى بشكل منطقي تمامًا، حيث يُركز على رفع مستوى أداء النموذج في هذه المرحلة فقط. ولكن عُلم مؤخرًا أن هذه الطريقة يمكن أن تؤدي إلى نتائج غير متوقعة عند دمج المرحلة النهائية للتعلم المعزز (Reinforcement Learning - RL). حيث أظهرت الأبحاث أن النماذج التي تم تدربها انطلاقًا من نقاط تفتيش (checkpoints) أقوى، قد تعاني من أداء أقل مقارنة بتلك التي استندت إلى نقاط تفتيش أضعف، بعد تدريب مماثل.

يرجع ذلك بشكل أساسي إلى تباين البيانات التي تُستخدم في المرحلة السابقة من SFT مقارنة بتلك التي تتضمنها عمليات التعلم المعزز. ولتصحيح هذا التباين، تم تقديم خوارزمية جديدة تُعرف باسم PEAR، وهي خوارزمية مستوحاة من تقييم السياسات، وتهدف إلى إعادة وزن خسائر SFT، وبالتالي تحسين تحضيرات النموذج لمرحلة التعلم المعزز.

تقوم PEAR باستخدام تقنيات مثل "Sampling" لاستعادة التوازن في خسائر التعلم، مما يؤدي إلى تحسين النموذج بشكل ملحوظ. وقد أظهرت التجارب التي أُجريت على مجموعة متنوعة من الألعاب الاستدلالية والمهام الرياضية، أن PEAR أثبتت نفسها كونها خطوة فعّالة نحو نموذج أكثر كفاءة في مراحل ما بعد التعليم. وقد أظهرت النتائج تحسنًا في الأداء بنسبة تصل إلى 14.6%، مما يسلط الضوء على أهمية التوازن بين مختلف مراحل التعلم.

بالتأكيد، هذه النتائج ليست مجرد بيانات، بل هي دعوة للتفكير في كيفية تحسين النماذج اللغوية والذكاء الاصطناعي بشكل عام. فهل يمكن أن تمثل PEAR مستقبل تطوير نماذج الذكاء الاصطناعي؟ ما رأيكم في هذا التطور؟ شاركونا في التعليقات.