تحسين السياسة الجماعية التكيفية: كيف يخطو الذكاء الاصطناعي خطوة نحو الأذكى؟

في عالم الذكاء الاصطناعي الحديث، تتزايد الحاجة إلى تحسين الأداء وزيادة كفاءة التعلم، ويأتي دور تقنية تحسين السياسة الجماعية التكيفية (AGPO) لمواجهة هذه التحديات.

استنادًا إلى التعلم المعزز، يتمثل هدف AGPO في تعزيز قدرة نماذج اللغات الضخمة (Large Language Models) مثل Qwen2.5-14B على التفكير والاستنتاج بشكل أكثر فعالية. بينما كانت تقنيات مثل PPO وGRPO تعتمد على إعدادات ثابتة فيما يتعلق بقص الأداء ودرجة الحرارة عند التشفير، فإن AGPO يقدم طريقة مبتكرة حيث يعتمد على إحصاءات جماعية لضبط مستوى التحديث والاستكشاف بشكل متكيف.

يستخدم AGPO حالة إحصائية مستقاة من المسبار لتشغيل جهازين توجيهيين، الأول هو القص المتكيف، حيث يتم ضبط حجم منطقة الثقة بناءً على تشتت المكافآت والانحراف. الثاني هو عينة حرارة متكيفة ثنائية الاتجاه، التي تتكيف مع درجة حرارة قاعدة التشفير بناءً على عدم اليقين.

وقد أظهرت الاختبارات على تسع مجموعات من بيانات المسائل الرياضية في اللغتين الإنجليزية والصينية، أن Qwen2.5-14B المدرب باستخدام AGPO يتفوق على كل من PPO وGRPO في نفس ميزانية توكنات الإنتاج، حيث حقق 67.3% في اختبار GSM8K و40.5% في اختبار MATH. الأهم من ذلك، أن هذه المزايا يمكن نقلها إلى نماذج أخرى مثل Llama-3-8B وGemma-2-9B، مما يثبت تكاملية كلا من التقنيتين اللتين تقدمهما AGPO.

للراغبين في استكشاف هذه التقنية، يمكنكم العثور على الكود المصدر متاحًا للجمهور عبر الرابط التالي: [https://github.com/wandugu/paper_agpo]. مع التطورات المستمرة في مجال الذكاء الاصطناعي، يبقى السؤال مفتوحًا: ما هي المزايا الأخرى التي يمكن أن تجلبها هذه الأساليب الحديثة لمستقبل النماذج اللغوية؟ شاركونا آرائكم في التعليقات.