كيف يمكن لطرق التعلم المعزز تحسين الأداء بتكاليف أقل؟

في عالم الذكاء الاصطناعي، تتحد طرق التعلم المعزز مع الحاجة المتزايدة لأن تكون فعالة من حيث التكلفة. تظهر نتائج دراسة جديدة حول التعلم المعزز من مكافآت قابلة للتحقق (Reinforcement Learning from Verifiable Rewards - RLVR) أن هناك طرقًا مبتكرة لتحسين الأداء بتكاليف منخفضة. يعتبر نموذج GRPO مثالًا بارزًا في هذا الصدد، ولكن يعتمد بشكل كبير على التوليد المستمر للبيانات عبر الإنترنت، مما يجعله مكلفًا وصعبًا في التوسع.

لكن، ماذا عن الخيارات البديلة؟ Direct Preference Optimization (DPO) يُعَدّ خيارًا أوفر، وقادرًا على العمل بكفاءة في بيئات غير متصلة، لكن أداءه غالبًا ما يكون أقل مقارنة بأساليب GRPO عند استخدام بيانات مستمدة من سياسات مُعَدَّلة بصورة باردة. لذا، ظهرت تقنية جديدة تُدعى G2D، والتي تتضمن عملية من ثلاث مراحل تبدأ بإحماء قصير لنموذج GRPO، ثم إنشاء مجموعة بيانات تفضيلية ثابتة، وتنتهي بتعديل النموذج باستخدام DPO.

أظهرت الاختبارات على نماذج Qwen2.5-7B و Llama-3.1-8B أن استخدام G2D مع عدد معتدل من الخطوات عبر الإنترنت (K) يمكن أن يتفوق على GRPO مع تقليل كبير في التكاليف. على سبيل المثال، حقق G2D في K=150 نسبة نجاح بلغت 62.4% على مجموعة MATH-500، متفوقًا على GRPO بفارق 10.8% وتكلفة أقل بحوالي أربع مرات. في حين أن النماذج الأخرى، مثل Llama-3.1-8B، حققت أيضًا نتائج أفضل مع G2D.

تكمن المفاجأة في أن الأداء ليس معتمدًا على عدد أزواج التفضيل، بل على مدى توفر المعلومات من البيانات المستخدمة. جاءت نتائج الدراسة لتؤكد أن الإحماء المعتدل يمكن أن ينتج بيانات أكثر قيمة، في حين أن الإحماء المفرط قد يؤدي إلى تسييس النتائج ويقلل من مستوى رغبتها على الفهم. هذه النتائج تدعو لإعادة النظر في الفجوة التاريخية بين التعلم عبر الإنترنت وغير المتصل كمسألة تتعلق بتوفر البيانات.

هل تعتقد أن هذا الاتجاه الجديد سيشكل مستقبل التعلم المعزز؟ شاركونا آراءكم في التعليقات!