في عالم الذكاء الاصطناعي الحديث، تبرز نماذج اللغة متعددة الوسائط (Multimodal Large Language Models) كأدوات ثورية لتحليل الصور وتوليد تسميات دقيقة لها. ورغم تقدم هذه التكنولوجيا، إلا أن الأخطاء ما تزال قائمة، مما يؤدي إلى ظهور تناقضات بين الصور والنصوص. هنا تأتي أهمية ابتكار **Symbal**، والذي يقوم بالكشف عن هذه الأخطاء بشكل منهجي.

يركز البحث الجديد على نوع معين من الأخطاء الذي يسميه الباحثون **التناقضات النظامية**، حيث لقد لوحظ ارتباط متكرر بين خطأ معين في التسميات ووجود خاصية بصرية محددة في الصورة المقابلة. من خلال استخدام مجموعات بيانات تتضمن تسميات تم إنشاؤها بواسطة نماذج اللغة، يعمل **Symbal** على اكتشاف تلك الأخطاء بدقة.

**Symbal** ليس مجرد أداة، بل يمثل تطويرًا هامًا في تقنيات الكشف عن الأخطاء، حيث يستخدم نظامًا هيكليًا مكونًا من مرحلتين مع نماذج أساسية متاحة تجاريًا، ليوفر نتائج واضحة وسهلة الفهم.

بالإضافة إلى ذلك، تم تقديم **SymbalBench**، وهو معيار مصمم لتقييم الأساليب الآلية المستخدمة في هذا المجال. يحتوي **SymbalBench** على 1.7 مليون زوج من الصور والنصوص موزعة على 420 مجموعة بيانات برؤية لغة، مع تناقضات نظامية موصوفة.

أداء **Symbal** فاق التوقعات، حيث تمكن من تحديد التناقضات النظامية في 63.8% من المجموعات، وهو تحسن يقارب أربعة أضعاف مقارنة بالأساليب السابقة. وتظهر التقييمات من العالم الحقيقي أن **Symbal** لا يمكنه فقط اكتشاف الأخطاء بشكل دقيق في تسميات أنشأتها أربع نماذج من نماذج اللغة متعددة الوسائط، ولكن أيضًا يمكن استخدامه كأداة قوية لمراجعة مجموعات بيانات الصور النصية.

من خلال هذا الابتكار، يمكن للباحثين والمطورين تحسين دقة التسميات المولدة من قبل نماذج اللغة دون الحاجة للوصول إلى تلك النماذج الأساسية. للمزيد من المعلومات والكود، يمكنكم زيارة رابط GitHub.