استراتيجية مبتكرة لتحسين التوليد التركيبي بواسطة التقييم العصبي المتوازن

في عالم الذكاء الاصطناعي، تُعتبر نماذج تحويل النص إلى صورة (Text-to-image models) من الإنجازات المذهلة، ولكن تحديات التوليد التركيبي تُواجه العديد من المختصين. من أبرز هذه التحديات هو عدم قدرة النماذج على معالجة المفاهيم المتعددة بشكل متوازن، مما يؤدي إلى إغفال بعض المفاهيم في الطلبات، وهذا يعكس صعوبة تحسين المكافآت المتنافسة بشكل متزامن.

للتغلب على تلك المعوقات، أبدع فريق من الباحثين إطار عمل جديد يحمل اسم تحسين متعدد المكافآت وزني بالطبيعة التبادلية (Correlation-Weighted Multi-Reward Optimization أو CMO)، الذي يستخدم هيكل الترابط بين المكافآت المفاهيمية لتكييف وزن كل مفهوم أثناء عملية التحسين. هذا النظام يقوم بمراعاة التفاعلات بين المفاهيم، مما يوازن إشارات المكافأة المتنافسة ويخلق بيئة تشجع النماذج على الالتزام بجميع السمات المطلوبة بصورة متزامنة.

يتم تنفيذ هذا الإطار عبر تحليل الطلبات المتعددة المفاهيم وتقسيمها إلى مجموعات مفهومية محددة مسبقًا مثل الكائنات والسمات والعلاقات. كما يتم استخلاص إشارات المكافأة من نماذج مكافأة مخصصة لكل مفهوم، ثم يتم إعادة وزن تلك المكافآت بشكل ديناميكي، مما يُعطي الأولوية إلى المفاهيم الصعبة أو المتنازع عليها. وبهذه الطريقة، يوجه إطار CMO تحسين الكفاءة نحو أكثر المفاهيم تحديًا.

تجري التجارب الحالية على نماذج الانتشار المتطورة مثل SD3.5 وFLUX.1-dev، حيث أظهرت النتائج تحسنًا واضحًا في التقييمات على مجموعات البيانات التي تضم مفاهيم متعددة. يمكن للأفراد المهتمين الاطلاع على الكود المتاح عبر الرابط: https://github.com/TheDarkKnight-21th/CMO.