تشهد تقنية الذكاء الاصطناعي تطورًا مستمرًا، وخاصة في مجال نماذج الرؤية-اللغة (Vision-Language Models) التي أصبحت تثير انتباه الباحثين ومطوري التكنولوجيا. يعاني الكثير من هذه النماذج من ظاهرة تُعرف باسم 'الهلاوس'، حيث تقوم بتوليد ادعاءات غير مستندة إلى الصور المدخلة. لكن ماذا لو كان هناك حل فعال لهذه المشكلة؟

يأتي الإطار الجديد، المعروف باسم 'الاعتراف بالادعاءات البصرية المدعومة بالأدلة' (EGVCA)، ليقدم إجابات واقعية. يعتمد هذا الإطار على مبدأ بسيط: الاعتراف بالادعاءات فقط إذا كانت لديها ما يكفي من الدعم المستند إلى الصورة. يقوم النظام بقياس هذا الدعم عبر مقارنة احتمالية الادعاء مع الصورة الموجودة ومدخل صورة فارغة.

بالنسبة لمهام الوصف، يتحكم النظام في توسيع المعاني دون التأثير على عملية توليد الرموز. كما يعمل في مجال الأسئلة البصرية الثنائية، حيث يجمع بين الدعم البصري الأساسي والتغيير الناتج عن الصورة في متوسط الناتج الأصلي للنموذج.

أظهرت التجارب على مجموعات بيانات مثل CHAIR وPOPE وMME عبر ثلاث بنى أساسية للنماذج البصرية-اللغوية، أن EGVCA تقلل بشكل ملحوظ من الهلاوس البصرية مع الحفاظ على جودة الوصف. وحققت أعلى نتيجة في تسعة من بين تسعة إعدادات للبنية والأسلوب، مما يعكس كفاءة هذا الإطار كبديل سهل لتصحيح توزيع الرموز.

هل أنتم مستعدون لاكتشاف المزيد حول تطورات الذكاء الاصطناعي وماذا يمكن أن تقدم لنا؟ شاركونا آرائكم في التعليقات!