في عالم الذكاء الاصطناعي (AI)، يعتمد تقييم جودة الصور الناتجة عن هذه التقنية على نماذج الرؤية واللغة (Vision-Language Models) التي تعاني في كثير من الأحيان من صراع أساسي بين الدلالات والتشويهات. غالبًا ما تُفشل التمثيلات الثابتة، والتي يتم تحسينها للتمييز الدلالي، في الكشف عن التدهورات الدقيقة في الجودة.

لكن، يبدو أن الباحثين قد قطعوا شوطًا كبيرًا في حل هذه المشكلة من خلال تقديمهم لإطار عمل مبتكر يُعرف بمسمى MST-CLIPIQA. يعتمد هذا الإطار على نموذج ثنائي القنوات يحقق التوافق الهيكلي بين الرؤية واللغة من خلال فصل التمثيلات الدلالية عن التشويهات.

يمتاز هذا النظام بتوظيفه لمُشفري CLIP مزدوجين، يسمحان بتقنيات تجزئة متكاملة: حيث تُركز القنوات الخشنة على الحفاظ على تماسك المعاني العامة، بينما تعنى القنوات الدقيقة بالحفاظ على توقيعات التفاصيل والنماذج المصطنعة. ومن خلال آلية دمج مستوحاة من مفهوم قيد المعلومات، يتم تحقيق تقطير متكيف عبر المقاييس.

كما أن هذا الإطار يوفر تقنية انتباه متقاطع اختيارية تُتيح تقييمًا مرنًا للتوافق بين النص والصورة بناءً على التعليمات المتاحة، مما يعزز من دقة التقييم. وقد أظهرت التجارب المكثفة عبر خمسة مقاييس جديدة تحقيق نتائج غير مسبوقة، حققت متوسط تحسينات تصل إلى 1.11% في دقة الجودة و2.35% في توقع التوافق بين النص والصورة، مع الحفاظ على الكفاءة وذلك باستخدام 0.8 مليون فقط من المعلمات القابلة للتدريب.

يمكنكم الاطلاع على المشروع الكامل عبر الرابط التالي: MST-CLIPIQA على GitHub. هل تتوقع أن يؤدي هذا التطور إلى تحسينات أكبر في تقنيات الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!