تستخدم خوارزميات تحسين السياسات في نماذج اللغات الضخمة (LLM) أهدافًا محددة، حيث تتعلق وظيفتها الأساسية بتقدير المكافأة المتوقعة $J(\theta) = \mathbb{E}_{\tau \sim p_{\theta}(\tau)}[R(\tau)]$. يتكون هذا الهدف من عنصرين رئيسيين: احتمال المسار $p_{\theta}(\tau)$ والمكافأة $R(\tau)$.

من REINFORCE إلى PPO، مرورًا بـ GRPO وتفرعاتها، تقوم كل طريقة بتعديل أحد هذين العنصرين أو كليهما من أجل التصدي لطريقة فشل معينة في النموذج السابق.

بدلاً من تصنيف هذه الأساليب بناءً على التخصص أو التسلسل الزمني، يُعيد هذا الاستعراض النظر في مشهد تحسين سياسات نماذج اللغات الضخمة (LLM) من منظور الأسس الأولى، ويستخدم جانب المسار، الناتج عن $p_{\theta}(\tau)$، وجانب المكافأة، الناتج عن $R(\tau)$ كمحاور لتحديد مواقع الأساليب المختلفة. نستعرض الطريق من REINFORCE و PPO إلى GRPO، بالإضافة إلى التعديلات بعد GRPO، مثل Agentic RL و GRPO-OPD.

النموذج الناتج موحد، تشخيصي، وقابل للتوسع: حيث يقوم بتحليل الأساليب من خلال هدف مشترك، ويحدد أي الجانب يقوم كل أسلوب بتعديله ولماذا، ويطبق نفس المحاور وأبعاد المكافآت عبر الإعدادات المختلفة. كما يكشف إطار العمل عن الفشل المركب الذي لا يحله إصلاح أحادي الجانب، مما يتطلب تخطيطًا مشتركًا لجانب المسار وجانب المكافأة.

تحدد الحدود والحالات المترابطة التي تم التعرف عليها من خلال هذا الرسم، النقاط التي تنفد فيها الحلول الحالية، مما يوفر نقطة انطلاق قائمة على الأسس لتصميم الجيل القادم من خوارزميات تحسين سياسات نماذج اللغات الضخمة (LLM).

ما رأيكم في التحديات التي واجهها الذكاء الاصطناعي في تحسين سياساته؟ شاركونا في التعليقات!