في عالم الذكاء الاصطناعي، يتناول البحث الحديث حول التعلم المعزز في وقت الاختبار (Test-time Reinforcement Learning) موضوعاً مثيراً جداً للاهتمام. فقد أظهر العلماء أن النماذج يمكنها تحسين أداءها في ظل قيود صارمة، ولا سيما عند عدم الاعتماد على بيانات تدريب معنونة.

التعلم المعزز في وقت الاختبار يتيح للنماذج تحسين طريقة تفكيرها دون الحاجة لاستخدام تسميات محددة. وقد طرحت الأسئلة حول ما إذا كان من الممكن أن تظهر تعديلات فعّالة في وقت الاختبار عندما تكون كل من الإشارة التحفيزية (reward) ومساحة التحسين (optimization space) محدودة بشدة.

للإجابة على هذا السؤال، تم تطوير طريقة جديدة تُسمى تقديم تحكم بغير تسميات (label-free bias-only TTRL). تعود هذه الطريقة إلى استخدام تسميات زائفة تعتمد على التصويت بالأغلبية كتحفيز وتحسين حوالي 100,000 معلمة انحياز فقط، بينما تظل بقية البنية التدريبية غير متأثرة.

أظهرت التجارب التي تم إجراؤها على مجموعة بيانات MATH-500 دقة وصلت إلى 76.67%، متجاوزةً بذلك التجارب السابقة التي استخدمت المعلمات المعنونة ولكن مع تحسين 76,000 مرة أقل من المعلمات الكاملة في التعلم المعزز.

هذا الأسلوب لم يقتصر فقط على مسائل الرياضيات، بل حسّن أيضاً الأداء في مهام متعددة، مثل تحويل المعلومات البصرية واللغوية وأيضاً مهام الاستدلال الصوتي كـ MathVista وAI2D وLogicVista وMMAU.

وأثبتت النتائج كذلك أن المتجهات المكتسبة من هذه الاستراتيجيات يمكن نقلها إلى 4,500 مشكلة جديدة في الرياضيات، مما يدل على أن التكيف لا يقتصر فقط على المشكلات المستخدمة أثناء تحسين وقت الاختبار. وعلى الرغم من قيود التكيف المشدد، استطاع الباحثون تقديم تحليل متعمق يوضح كيف يمكن أن تكون موثوقية التصويت بالأغلبية محسنة من خلال توافق خروج نموذج (rollout consensus) وأنّ وجود طاقة تدرج أكبر في المواضيع الخاصة بالتحيز يعزز قدرة التعلم اللاحق.

تلك النتائج تؤكد على إمكانية تحقيق تعديل كبير في وقت الاختبار من خلال تحسين مساحة ضئيلة خاصة بالتحيز باستخدام مكافآت غير معنونة تماماً. هل تتوقع أن تفتح هذه الاكتشافات أفقاً جديداً في مجال الذكاء الاصطناعي؟ شاركونا في التعليقات.