هل يعزز التقطير الذاتي من قدرات التفكير؟ اكتشفوا الأجوبة هنا!

في عالم الذكاء الاصطناعي، يُعتبر التقطير الذاتي (Self-Distillation) نهجًا واعدًا يُدرب فيه النموذج على تقليد توقعاته الخاصة عندما يُشترط بمعلومات متميزة، مثل الإجابات الصحيحة أو تغذية راجعة بيئية. قامت العديد من الأساليب الحديثة بالإبلاغ عن زيادة في الكفاءة العامة وفعالية العينات مقارنةً بالتعلم المعزز (Reinforcement Learning).

لكن، هل يستمر هذا التحسن عند مواجهة مشاكل غير معروفة، وما إذا كان يرجع فعلاً إلى دمج التقطير المتميز؟

في ورقة بحثية جديدة، أعيدت زيارة مَنهجين يمثلان هذا الاتجاه، وهما تحسين السياسة مع التقطير الذاتي (Self-Distillation Policy Optimization - SDPO) والتقطير الذاتي القائم على السياسة (On-Policy Self-Distillation - OPSD). تم ذلك عبر مجموعة من المهام بما في ذلك البرمجة، العلوم، استخدام الأدوات، وتفكير الرياضيات.

النتائج توضح أن التحسينات المبلغ عنها لا تعمم دائمًا على مشاكل غير مسبوقة وغالبًا ما تُعزى إلى الإفراط في التخصيص أو نقل سلوك التفكير القائم بدلاً من استخدام المعلومات المتميزة بشكل فعال. وعلاوة على ذلك، فإن تدرجات التقطير الذاتي تظهر توافقًا ضعيفًا مع تدرجات السياسة التي تعزز المكافأة المتوقعة، مما يثير تساؤلات حول ما إذا كانت هذه الطريقة توفر اتجاهًا فعّالًا لتحسين السياسة.

تجاربنا التي أجريت على نماذج Qwen3 التي تتراوح أحجامها بين 1.7B-14B وOLMo-3-7B تشير إلى أن الاستفادة بفاعلية من المعلومات المميزة لتحسين التفكير يظل تحديًا مفتوحًا. يمكنكم الاطلاع على الكود المُتاح هنا لاستكشاف المزيد.