في عالم الذكاء الاصطناعي، بات التعلم المعزز (Reinforcement Learning - RL) جزءًا أساسيًا من تحسين أداء نماذج اللغة الكبيرة (Large Language Models - LLMs) بعد التدريب. على الرغم من أن النماذج السابقة كانت تعتمد على أساليب متزامنة، إلا أن هذه الأساليب غالبًا ما تعاني من عدم الكفاءة عند التعامل مع مهام طويلة الأمد. مع التطورات الأخيرة، ظهرت أساليب التعلم المعزز غير المتزامنة كبديل فعال، حيث يتم تحديث النموذج كلما وصلت بيانات جديدة.

ومع ذلك، كانت الأنظمة الحالية تركز بشكل كبير على زيادة الإنتاجية، مما أثر على استقرار التدريب وفعاليات المهام. إحدى التحديات الرئيسية هي أن أخذ العينات ضمن مجموعات في الإطار الشائع GRPO لا يتناسب بشكل طبيعي مع التدريب غير المتزامن. وقد قدمت دراسة جديدة طريقة **Single-rollout Asynchronous Optimization (SAO)** كحلٍ لهذه التحديات.

تستبدل الطريقة الجديدة أخذ العينات الجماعي بأخذ عينات واحدة لكل عملية إطلاق، مما يساعد في تقليل آثار عدم التوافق وتحسين القدرة على التعميم. كما تم تحسين استراتيجية أخذ العينات هذه مع تصاميم تدريب نموذج القيم العملية. لتحسين استقرار التحسين، تم إدخال استراتيجية قص مزدوج صارمة على مستوى الرموز.

لقد أظهرت التجارب أن SAO قادر على التدريب بشكل مستقر لمئات الخطوات، ويتفوق باستمرار على الأساليب السابقة مثل GRPO في اختبارات البرمجة والتفكير الآلي مثل **SWE-Bench Verified** و**BeyondAIME** و**IMOAnswerBench**.

علاوة على ذلك، فإن SAO أظهرت فعالية خاصة في بيئات التعلم عبر الإنترنت، حيث ينبغي للنموذج التكيف مع التغيرات المستمرة في البيئة. وبفضل هذه الاستراتيجية الرائدة، تم تنفيذ SAO بنجاح في خط أنابيب RL ليتدرب نموذج **GLM-5.2** ذي الحجم الضخم (750B-A40B).

إذا كنت مهتمًا بمشاريع الذكاء الاصطناعي وكيف يمكن أن تؤثر هذه التقنيات على مستقبلنا، فنحن نشجعك على متابعة أحدث الأخبار ومشاركتها مع أصدقائك! ما رأيكم في هذا التطور؟ شاركونا في التعليقات!