هل حان وقت العودة إلى الوراء؟ استكشاف تفاعل التعلم المعزز ونماذج اللغات الضخمة لتعزيز التفكير

شهدت الآونة الأخيرة تقدمًا ملحوظًا في نماذج اللغات الضخمة (Large Language Models) في معالجة مهام التفكير المعقد. ومن أبرز النتائج، أن التعلم المعزز (Reinforcement Learning - RL) قد أثبت فعاليته في تحسين استراتيجيات البحث، مما أدي إلى نتائج أفضل في التحديات الفكرية التي تتطلب سلاسل تفكير متطاولة. ومن المعروف أن العودة إلى الوراء (Backtracking) تُعتبر آلية جوهرية تعزز هذا التحسن، لكن ديناميكيات هذه العملية وتفاعل التعلم المدعوم بالتوجيه (Supervised Fine-tuning - SFT) مع التعلم المعزز لا يزال غير مفهوم بشكل جيد.

في هذا البحث، نؤكد على أن العودة إلى الوراء، أي القدرة على مراجعة وتعديل خطوات التفكير السابقة، تعد عاملاً حاسمًا يمكّن من الانتقال من التوليد الخطي إلى البحث غير الخطي في شجرة القرار لنماذج اللغات الضخمة، مما يفتح الباب لأداء قوي في المهام المعقدة.

نبدأ بدراسة التفاعل بين تسخين التعلم المدعوم بالتوجيه والتعلم المعزز من خلال ثمانية مهام تفكير مختلفة: العد التنازلي، السودوكو، الأشكال الهندسية المتقدمة، دوران مكعب الألوان، وظائف القوائم، ألغاز الزرافة، والإشارة الذاتية. تشير النتائج إلى أن التسخين المعتاد باستخدام تسلسلات CoT المولدة ذاتيًا يوفر زيادة متواضعة في التعلم المعزز مقارنة بالتدريب دون تسخين، لكن هذه الفوائد تتوقف عندما تزداد صعوبة المهام.

استجابةً لهذه النتائج، قمنا بتقديم وصفة تدريب موجهة نحو العودة إلى الوراء. من خلال تغيير عدد خطوات العودة إلى الوراء بشكل صناعي في التسخين المدعوم بالتوجيه، نجد أن (1) أطول سلاسل CoT التي تحتوي على عودات تدعم وتضخم التعلم المعزز، و(2) عمق العودة المثلى يتناسب مع صعوبة المهمة: صفر للمهام السهلة، واحدة للعد التنازلي، وخمسة أو أكثر للسودوكو. من خلال هذه النتائج، نثبت أن العودة المدروسة إلى الوراء ضرورية لتحسين القدرة على التفكير في نماذج الذكاء الاصطناعي.