تمثل التقنية الجديدة المعروفة باسم "EM Policy Gradient (EMPG)" نموذجًا بسيطاً وفعالاً يطرح مسألة التعلم المعزز كمسألة توقع-تعظيم (Expectation-Maximization) لإدارة الطرق الاستدلالية.
الديناميكية الجديدة
هل تساءلت يومًا كيف تعمل نماذج اللغة الضخمة بشكل أفضل؟ يتطلب الأمر عناءً كبيرًا لتطوير خوارزميات جديدة. حيث تعاني الخوارزميات التقليدية مثل PPO و GRPO من تعقيدات وأعباء إضافية في المنهج التحليلي، بالإضافة إلى زيادة التباين والتحيز في تحسين النتائج.
يعمل أسلوب EMPG عبر مرحلتين: المرحلة الأولى (E-step) تصنع توزيعًا مرجحًا للعقوبات على مسارات الاستدلال، بينما المرحلة الثانية (M-step) تسعى إلى تحسين النموذج اللغوي بزيادة دقة النتائج المرجحة. يُظهر هذا الأسلوب درجة عالية من الكفاءة في الأداء، حيث يحقق نتائج مشابهة أو أفضل من GRPO، باستخدام إجراءات تحسين أبسط.
التجارب والنتائج">التجارب والنتائج
شهدت التجارب التي أُجريت على مجموعة بيانات GSM8K وMATH Hard مع نماذج Qwen2.5 نجاحًا ملحوظًا حيث أظهر EMPG مسارات استدلال أكثر دقة. إضافةً إلى ذلك، يتضمن نهج EMPG سلوكيات استدلال منظمة مثل تقسيم المشكلات، والتأكد الذاتي، والتفكير، والرجوع إلى الوراء.
تدل تلك النتائج على أن منظور توقع-تعظيم يوفر أساسًا فعالًا نظريًا وعمليًا للتعلم المعزز لنماذج اللغة في مجالات الاستدلال اللغوي. هل تتوقع أن يكون لهذه التطورات تأثير كبير على مستقبل الذكاء الاصطناعي؟ شاركونا آراءكم وتجاربكم!