شهدت الفترة الأخيرة تطوراً ملحوظاً في الذكاء الاصطناعي، حيث أثبتت نماذج اللغات الضخمة (Large Language Models) قدرتها على تحسين التفكير الرياضي بشكل مذهل. تعتمد هذه النماذج الآن على التعلم التعزيزي (Reinforcement Learning) الذي يستفيد من مكافآت قابلة للتحقق، مما يضمن دقة النتائج النهائية من خلال إشارات تدريب موثوقة.
مع ذلك، تركز معظم هذه الأنظمة على تحسين دقة النتائج النهائية فقط، مما يعوق فعالية التغذية الراجعة خلال الحلول متعددة الخطوات. لذا، ظهرت نماذج المكافآت العملية (Process Reward Models - PRMs) لتقيّم الخطوات الوسيطة، مما يسمح بنظام إشراف أكثر كثافة.
ومع ذلك، غالباً ما تكون الدرجات المعطاة من قبل PRMs غير متوافقة تماماً مع الدقة النهائية، حيث قد تشجع التفكير السلس محلياً قادماً إلى نتائج خاطئة. ومن هنا، تم اقتراح إطار عمل جديد يُعرف بـ PROGRS، الذي يجمع بين مزايا PRMs مع الحفاظ على أهمية النتائج النهائية.
يعمل PROGRS من خلال معالجة مكافآت العملية كمفضلات نسبية ضمن مجموعات النتائج بدلاً من أهداف مطلقة. وقد تم تحسين أداء النظام عبر تقديم مركزية مشروطة بالنتيجة، حيث يتم تعديل درجات PRMs للرحلات الخاطئة لتكون متوازنة داخل كل مجموعة استجابة. هذا يسهم في إزالة التحيز النظامي دون فقدان التصنيفات القيمة.
تقدم PROGRS نتائج مذهلة على عدة مجموعات بيانات مثل MATH-500 و OlympiadBench، حيث يظهر تحسناً ملحوظاً في معدل النجاح مقارنةً بالأنظمة التقليدية التي تركز فقط على النتائج. نتائج هذه الدراسة تشير إلى إمكانية استخدام مكافآت العملية بشكل آمن وفعال لتعزيز قدرات التفكير الرياضي لدى الذكاء الاصطناعي.
تكتيك ثوري لتحسين التفكير الرياضي في نماذج اللغات الضخمة عبر مكافآت عملية!
أحدثت دراسة جديدة ثورة في كيفية تدريب نماذج اللغات الضخمة (LLMs) لتحقيق استنتاجات رياضية دقيقة عبر نظام مكافآت مبتكر. هل سيكون لهذه الأساليب الجديدة تأثير كبير على أداء الذكاء الاصطناعي؟
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
