في عالم الذكاء الاصطناعي، حيث تتزايد الحاجة إلى نماذج قوية وفعالة، تظهر أبحاث جديدة بهجة ملحوظة بتقديم طرق مبتكرة لتحسين الأداء. إحدى هذه الطرق هي “Direct On-Policy Distillation” (تقطير السياسات المباشرة). تعد تقنية التعلم المعزز بمكافآت قابلة للتحقق (Reinforcement Learning with Verifiable Rewards - RLVR) استراتيجية فعّالة لتحسين قدرات التفكير لدى نماذج اللغات. ومع ذلك، تتطلب هذه العملية تكرار محاولة التعلّم على كل نموذج قوي جديد، مما يجعل الأمر مكلفًا.

تقدم الأبحاث طريقة جديدة تعالج هذه المشكلة؛ حيث يُجري الباحثون الدراسة على نموذج أصغر لتقليل التكلفة الناتجة عن التحولات الناتجة في نموذج أقوى أثناء التعلم. لكن تركيزهم لا يقتصر على تقطير المعلومات من النموذج الأضعف إلى الأقوى، بل يتمثل في تحفيز النموذج الأقوى على الاستفادة بشكل مباشر من التحولات الحاصلة في السياسات الناتجة عن عملية التعلم على النموذج الأضعف.

تقوم تقنية “Direct-OPD” بمقارنة السياسات الناتجة من النموذج الضعيف بعد عملية التعلم بتلك التي كانت عليه قبل ذلك، مما يمنحنا القدرة على استخدام هذه الفروقات كمكافآت ضمنية للطالب (النموذج القوي). هذا يتيح استخدام إشارات الإشراف دون الحاجة إلى نموذج مكافأة صريح أو تكلفة إضافية مرتبطة بالتعلم المعزز على النموذج المستهدف.

توضح التجارب العملية أن استخدام نماذج ضعف تقود لتحسين الأداء في النماذج القوية؛ حيث تمكنت التقنية من زيادة أداء نموذج Qwen3-1.7B من 48.3% إلى 62.4% في اختبار AIME 2024 خلال 4 ساعات فقط باستخدام 8 وحدات معالجة رسومية من نوع A100. لقد أثبتت هذه التجارب أن نتائج التعلم المعزز يمكن إعادة استخدامها عبر مقاييس النماذج بوصفها إشارات مكافأة ضمنية، مما يعد بتطوير النظام البيئي للذكاء الاصطناعي بشكل أسرع وأكثر كفاءة.