إعادة التفكير في تقنية الاستشفاء الذاتي لتعزيز نماذج التفكير

تُعد تقنية الاستشفاء الذاتي (Self-Distillation) واحدة من أكثر الوصفات واعدة في تعزيز وتحسين نماذج اللغة. في هذه التقنية، يمكن للنموذج أن يكون معلمه الخاص عندما يتاح له معلومات مميزة، مثل حلول لمشاكل رياضية. ولكن، يبدو أن هذا الأسلوب ليس دائماً فعّالاً، خصوصاً لنماذج التفكير (Thinking Models)، التي تعتمد على التفكير العميق لامتصاص تلك المعلومات الخاصة.

في دراسة جديدة، تم اختبار خمسة نماذج من Qwen3 وOLMo على مجموعة بيانات من AIME24 وAIME25 وHMMT25، واكتُشف أن استخدام تقنية الاستشفاء الذاتي المميزة قد يؤدي إلى انخفاض نسبي يصل إلى 17% في دقة متوسط الأداء بزيادة طول سلسلة التفكير. هذا التدهور يتناسب مع درجة معلومات السياق المميزة المحتفظ بها عن الطالب، وكان التأثير الأكثر وضوحاً عند استخدام ميزانيات طويلة، حيث تتمتع نماذج التفكير عادة بأكبر مكتسباتها.

هذه الظاهرة لا تقتصر على الاستشفاء الذاتي؛ فقد أظهرت تقنية الاستشفاء على السياسة (On-Policy Distillation) تحسين الأداء، لكن استخدام تقنية الاستشفاء المميزة أدى إلى عكس هذه المكاسب. تُظهر التشخيصات أن ارتباط حالات الفشل هذه بكيفية إعادة تشكيل سياق المعلم المميز للتعلم في نقاط تفريع ذات احتمالية عالية، حيث تظل العديد من الاستمرارات قابلة للتطبيق وترتبط بمسارات تفكير مختلفة.

المثير للاهتمام هو أن السياق المميز يخفض معدلات التفريع في نماذج التفكير، لكنه لا يؤثر بنفس الطريقة على نماذج التعليم (Instruction Models). وهذا يُظهر تناقضاً حيث يمكن أن تفيد المعلومات المميزة النماذج المُعدّة للتعليم بينما تُضر نماذج التفكير الأقوى.

تظهر النتائج ضرورة الانتباه إلى الإشارات على مستوى الرموز، خصوصاً حول خطوات التصحيح والتفكير، عند تدريب نماذج التفكير باستخدام معلم مميز. هذه النتائج تُبرز الحاجة لإعادة التفكير في كيفية تطبيق تقنيات الاستشفاء الذاتي لتحقيق أفضل أداء ممكن في النماذج المعقدة.