في عالم الذكاء الاصطناعي، أصبح التعلم المعزز المشتت (Diffusion Reinforcement Learning) من أهم الأدوات المستخدمة في توليد النماذج التوليدية للصورة والفيديو. وقد حققت الأساليب التقليدية مثل DanceGRPO وFlowGRPO نجاحاً ملحوظاً، إلا أنها كانت تعاني من مشكلة إعادة حساب المعلومات في خطوات محددة، مما يؤدي إلى عمليات حسابية غير ضرورية.

لقد قدم الباحثون في هذا المجال حلاً مبتكراً يُدعى LeanGRPO، الذي يقدم نماذج جديدة لتدريب التعلم المعزز بدون إعادة حساب. كيف؟ عبر إعادة هيكلة البيانات بشكل جديد، وطرح جداول التدريب التي تقلل من الذاكرة اللازمة خلال عمليات التنفيذ.

تتضمن هذه الجداول:
1. **LeanGRPO-Retain**: يتمكن من تتبع التدرجات خلال عملية التدحرج (Rollout) ويرتبط مباشرةً بكفاءة الحسابات المسبقة، مما يتلافى الحاجة إلى إعادة الحساب.
2. **LeanGRPO-Reweight**: تسمح بتتبع التدرجات أثناء التدحرج ولكن يتم تأجيل مزامنة التدرجات لتصحيحها بعد الانتهاء من المسار.

هذه التطورات تساهم في تسريع العمليات بصورة ملحوظة، حيث أظهرت LeanGRPO قدرة على تحقيق سرعة تصل إلى 1.83 مرة في الأداء دون المساس بالتحسينات الأساسية التي يسعى إليها البحث.

إن LeanGRPO يعد بمثابة نقطة تحول في الطريقة التي نستطيع بها استغلال التعلم المعزز المشتت، مما يمهد الطريق نحو توليد محتوى بصري أكثر فعالية وبساطة. هل أنتم مستعدون لاستكشاف المزيد عن هذا الابتكار؟ شاركونا آراءكم!