في عالم التعلم العميق، تعتبر تقنيات التقطير على السياسات (On-Policy Distillation) واحدة من أكثر الطرق شيوعًا لتعزيز أداء نماذج اللغة الكبيرة في مجالات reasoning. ومع ذلك، يظل التركيز على الجوانب المتعلقة بالبيانات في هذه التقنيات غير مستكشف بشكل كافٍ. تستعرض ورقة بحثية جديدة دراسة تجريبية تُسلط الضوء على كفاءة البيانات واختيارها في عملية التقطير على السياسات.

من خلال التحقيق في حالة متطرفة، حيث يتم تدريب نموذج التقطير على مثال واحد (1-shot OPD)، توصل الباحثون إلى نتائج مثيرة. فقد أظهروا أن 1-shot OPD يكون فعالًا باستمرار عبر جميع أمثلة التدريب، فيما تؤدي الأمثلة الصعبة غالبًا إلى تحسين أداء النموذج بشكل ملحوظ. هذا يسلط الضوء على كيفية أن القضايا الأكثر تحديًا يمكن أن تحقق فوائد أكبر.

علاوة على ذلك، تكشف التحليلات أن التحسين في النموذج الطالب لا يرتبط بارتفاع تشتت الرموز (token entropy) بل بمدى تعقيد مسارات التفكير الطويلة التي تنتجها المسائل الصعبة. يُعتبر التدريب على مسارات التفكير الطويلة ضروريًا للمحافظة على توافق بالقرب مع المعلم على مدار فترة طويلة، مما يساعد النموذج على تعلم أنماط التفكير النقدي التي عادة ما تكون مفقودة في المسارات القصيرة.

استنادًا إلى هذه الرؤى، اقترح الباحثون طريقة بسيطة لاختيار البيانات، حيث يتم انتقاء الأمثلة الصعبة فقط للتدريب. حتى الأمثلة "غير القابلة للحل" التي تفوق قدرات المعلم يمكن أن تُستخدم بنجاح. تجارب الباحثين التي أجراها على أربعة نماذج تتراوح أحجامها بين 1.5 مليار إلى 7 مليارات تُظهر أن تدريب النموذج الطالب فقط على 8 أمثلة صعبة مختارة يحقق أداءً يتساوى مع قاعدة بيانات تتكون من 17,000 مثال.

هذه النتائج تفتح آفاقًا جديدة لفهم كيفية تعزيز نماذج الذكاء الاصطناعي من خلال استراتيجيات ذكية لاختيار البيانات، مما يضمن تحقيق أقصى استفادة من الموارد التعليمية المتاحة ويعزز دقة النماذج في معالجة المشكلات الأكثر تعقيدًا. ما رأيكم في هذا التطور الثوري في مجال الذكاء الاصطناعي؟ شاركونا في التعليقات.