تسعى الأبحاث الحالية في مجال الذكاء الاصطناعي إلى تحسين فعالية نماذج التعلم الآلي، حيث يقدم الباحثون في دراسة جديدة فكرة مثيرة حول عملية تبسيط البيانات المتقاطعة (Cross-Tokenizer On-Policy Distillation). تعتمد هذه العملية على تدريب نموذج التعلم (الطالب) باستخدام التغذية الراجعة من نموذج آخر (المعلم)، مما يتيح تحقيق أفضليات جديدة في التعلم.

تشير الدراسة إلى أن تحسين التوافق بين المعلم والطالب على مستوى تسلسل البيانات ومفردات اللغة يمكن أن يساهم في تعزيز عملية التعلم. وباستخدام مجموعات متنوعة من المعلمين والطلاب في سياقات مثل استدلال رياضي وتوليد الشفرات، أظهرت النتائج أن-even with significant vocabulary mismatch- التوافق 1:1 يغطي معظم الرموز التي يتم توليدها من قبل الطالب. هذا يعني أن هناك فائدة كبيرة في استخدام نماذج أكثر عناية لتحديد أي البيانات يجب أن يتم التركيز عليها.

لكن المفاجأة كانت في أن إضافة إشراف بمؤشرات مربعات الخطأ (mean squared error) لمجموعات معينة تسببت في تقليل الدقة، مما يشير إلى ضرورة إعادة تقييم الاستراتيجيات المستخدمة في الإشراف. حيث توضح التحليلات أن التركيز على الاعتمادية في الإشراف بدلاً من توسيع نطاق التوافق يمكن أن يؤدي إلى نتائج أفضل في التعلم.

تفتح هذه النتائج مجالاً جديداً في أبحاث الذكاء الاصطناعي، حيث قد يصبح يفضل التكامل العميق والإشراف الموثوق بدلاً من مجرد محاولات التوافق عبر نماذج متعددة. مما يعكس أهمية التفكير النقدي في كيفية التعامل مع البيانات في النماذج المستقبلية.