في عالم الذكاء الاصطناعي، تعمل نماذج اللغة الكبيرة (Large Language Models) على تطوير طرق جديدة لتعزيز قدرات التفكير والتوليد اللغوي. ومع ذلك، تبقى التحديات كبيرة، حيث تمثل مسألة توجيه التعلم جهودًا مستمرة للباحثين. في هذا السياق، تقدم تقنية 'on-policy self-distillation' (OPSD) بديلاً واعدًا، حيث تستخدم نموذجًا واحدًا كطالب ومعلم في نفس الوقت. لكن، الروافع الحقيقية لنجاح هذه التقنية تكمن في توفير معلومات متميزة (privileged information) للمعلم، وهذا يمثل عقبة في بعض الأحيان.

ولكن مع بروز تقنية 'dOPSD'، يتم تجاوز تلك القيود. يعتمد هذا الابتكار على استغلال المسار الخاص بعملية إزالة الضجيج الخاصة بالطالب. بدلًا من البحث عن إشارات خارجية، يتم تقييم المواقع المMasked باستخدام خطوات أكثر تطورًا من نفس المسار، مما يوفر مزيدًا من التعلم الفعال.

تظهر نتائج التجارب على نماذج مثل Dream وLLaDA أن 'dOPSD' تجعل النماذج قادرة على تقديم أداء أفضل في المسائل الرياضية داخل النطاق وأيضًا في توليد الأكواد خارج النطاق، متفوقة بذلك على العوائد الإشرافية والنماذج التقليدية.

مع هذه التقنية الواعدة، يبدو أن مستقبل التعلم الذاتي في نماذج اللغة الكبيرة أصبح أكثر إشراقًا. هل أنتم متحمسون لرؤية كيف سيغير هذا الابتكار مشهد الذكاء الاصطناعي؟ ما رأيكم في هذا التطور؟ شاركونا في التعليقات.