تقدم الأبحاث الأخيرة في مجال الذكاء الاصطناعي رؤى جديدة حول كيفية تأثير


التقطير الذاتي (Self-Distillation)، حيث توفر إشرافاً كثيفاً ومبنيًا على الرموز من خلال تكييف النموذج مع معلومات خاصة. لكن هذا التكيف يؤثر أيضًا على كيفية تصرف النموذج، مما يربط بين إشارات التعلم المتعلقة بالصحة والتغيرات السلوكية غير المرغوبة.


في سياق المهام الاستدلالية، تم تشريح التأثيرات من خلال تقنيات التقطير الذاتي الجذابة، التي تدفع النموذج نحو معلم متميز، مقابل التقنيات العدائية، التي تؤدي إلى بعيدًا عن ذلك المعلم. وقد أظهر البحث أن كل هدف من هذين الهدفين يمكن أن يُحدث تحولات سلوكية قوية ومعاكسة.

- **الجاذبية** تقلل من الاستدلال الاستكشافي وتعزز الاستجابات القصيرة والواثقة، بينما
- **العداوة** تزيد من طول الاستجابة، وقد تنبه النموذج للدخول في وضع تفكير كامن، الأمر الذي يؤدي إلى عدم الاستقرار.


استنادًا إلى هذه الملاحظات، تم استكشاف تقنية التقطير الذاتي المتباين، التي تجمع بين الجاذبية نحو معلم موثوق فيه مع العدائية ضد معلم غير موثوق فيه. وعلى عكس الأعمال السابقة، التي دمجت مثل هذه الإشارات مع هدف (GRPO)، نجح هذا البحث في عزل الهدف الخاص بالتقطير الذاتي ودراسة سلوكه بشكل مستقل.


وجد الباحثون أن التحولات السلوكية المشتركة للمعلمين يمكن أن تلغي بعضها البعض بشكل كبير، مما يترك إشارة على مستوى الرموز تعكس الصحة بشكل أكثر مباشرة. هذه التقنية المتباينة حسنت الأداء الاستدلالي عبر نماذج غير تفكير، تعليم فقط، ونماذج تفكير بالفعل، مع الحفاظ على استجابات مستقرة وطويلة.