في عالم التعلم العميق، يمثل تصميم وتحسين دوال المكافآت (Reward Functions) تحديات كبيرة عند التعامل مع بيئات مخصصة ومعقدة ومتعددة الأهداف. في خطوة مفاجئة، اقترحت دراسة حديثة نظامًا يتمثل في استخدام نماذج لغوية ضخمة (Large Language Models) المعروفة بـ "ERFSL"، والذي يعمل كبحث فعال لدوال المكافآت.

يتميز نظام ERFSL بكونه قادرًا على فهم المعاني بدقة، مما يساعده على توليد مكونات مكافآت لكل متطلبات المستخدم المحددة رقميًا، مع استخدام ناقد للمكافآت لتحديد الشكل الصحيح للكود.

يُعطي النظام وزنًا مخصصًا لمكونات المكافآت، مما يضمن التوازن بينها، ويقوم بتعديل الأوزان بشكل تكراري دون ارتباك أو تعديلات زائدة، مستفيدًا من استراتيجيات التغيير الاتجاهي والتزاوج المشابهة للخوارزميات الجينية. تم تطبيق هذا الإطار على مهمة جمع بيانات مخصصة للتعلم المعزز، بدون الحاجة إلى ملاحظات أو أمثلة مكافآت مباشرة (تعلم بدون أقران الزر (zero-shot learning)).

نجح ناقد المكافآت في تصحيح كود المكافأة باستخدام حالة عائدة واحدة فقط لكل متطلب، مما ساعد في تجنب الأخطاء التي لا يمكن تصحيحها. ومن خلال هذه الطريقة، تتمكن من الحصول على وظيفتين مختلفتين للمكافآت ضمن مجموعة الحلول (Pareto Solution Set) دون الحاجة للبحث عن الأوزان. حتى في الحالات التي يكون فيها الوزن خطأ بمقدار 500 مرة، يحتاج النظام إلى متوسط 5.2 تكرار فقط لتلبية متطلبات المستخدم.

كما يعمل ERFSL بشكل جيد مع معظم التعليمات التي تستخدم نموذج GPT-4o mini، حيث يتم تحليل عملية البحث عن الأوزان لتقليل الحاجة إلى فهم الأرقام والسياقات الطويلة. هذه التطورات تشير إلى إمكانيات هائلة لنماذج اللغة في مجال التعلم المعزز.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات!