تحسين أوامر التوليد في نماذج الانتشار المتعددة الوسائط: خطوة ثورية في الذكاء الاصطناعي

في عالم الذكاء الاصطناعي المتطور، طورت نماذج الانتشار اللغوية (Diffusion Language Models) تقنيات جديدة قادت إلى إنجازات كبيرة في مهام توليد اللغة الطبيعية. تشير دراسات حديثة إلى إمكانية تحسين الأداء عبر ترتيب توليد الرموز بشكل تكيفي، وهو ما يُعد محورًا رئيسيًا في الأبحاث الجارية.

في هذا السياق، يتناول بحثنا تحسين ترتيب الجيل لكلاً من توليد النص إلى الصورة (text-to-image synthesis) والفهم المتعدد الوسائط (multimodal understanding). ومن المثير للاهتمام، أن النتائج أظهرت أن الاعتماد على logits وحدها لا يكفي لتحديد التتابع الأمثل في مهام مثل توليد النص إلى الصورة.

للتغلب على هذه التحديات، قمنا بتقديم وحدة تحكم قابلة للتعلم تم تدريبها باستخدام تقنية تحسين السياسات النسبية الجماعية (Group Relative Policy Optimization - GRPO) لتحديد ترتيب التوليد.

تظهر نتائجنا أن تعلم هذه الوحدة يسهم بشكل كبير في تحسين محاذاة النص إلى الصورة وفهم البيانات المتعددة الوسائط في نماذج الانتشار اللغوية. على وجه الخصوص، يعزز من قدرة النموذج على التقاط العلاقات المكانية الدقيقة في الصور المولدة، مما يساهم في تحسين الأداء في مهام الفهم المنطقي والمعرفي.

قمنا بتقييم إطار العمل الخاص بنا على GenEval، وهو معيار يركز على الأجسام لمحاذاة النص إلى الصورة، حيث حققنا تحسينًا بنسبة 4.08% في النتائج. وبالإضافة إلى ذلك، أكدت التجارب على VLMEvalKit تحسيناً نسبته 4.85% في الفهم المتعدد الوسائط، مما يبرز فعالية نهجنا الشامل.