هل تعتمد نماذج الإجابة على الأسئلة المرئية فقط على الصورة؟ تحليل شامل جديد يكشف الحقائق المتنوعة!

أصبح الذكاء الاصطناعي يعتمد بشكل متزايد على نماذج الإجابة على الأسئلة المرئية (Visual Question Answering Models) التي تسعى لتقديم إجابات دقيقة استنادًا إلى الصور المعطاة. ولكن، ماذا لو كانت الأدلة البصرية غير كافية لدعم إجابة صحيحة؟ هذا هو السؤال الذي طرحته دراسة تحليلية جديدة نشرت تحت عنوان "تعتمد الوظيفة البصرية على الصورة، لكنها لا تشير بالضرورة إلى إمكانية الإجابة".

تستخدم الدراسة نموذج InstructBLIP المتجمد، وتحلل إشارات الإجابة على 10,000 مجموعة من أسئلة الصور من قاعدة بيانات UNK-VQA. تتضمن هذه الإشارات المتنوعة، مثل عدم اليقين التنبؤي، والتوافق عبر النماذج، والجذور البصرية، وغيرها.

لكن النتائج كانت مثيرة للدهشة، حيث أظهر البحث أن قدرة النماذج على التمييز بين الأسئلة القابلة للإجابة من تلك التي لا يمكن الإجابة عنها ظلت ضعيفة، حيث تراوحت درجات AUROC التجريبية بين 0.50 و0.54. في الواقع، كان التوافق مع نموذج CLIP هو الأكثر دقة، ولكنه لم يتفوق بشكل كبير على ثقة الجيل تحت تحليل التجميع المرتبط.

كما كشفت نتائج التحليل عن أن إزالة الأدلة البصرية ذات الصلة بالأسئلة كان لها تأثير كبير على ثقة الإيجابة، مما يشير إلى خلق تباين أكبر من التمويه العشوائي بنفس الحجم. ومع ذلك، لم توفر زيادة سعة الاختبار أو دمج إشارات متعددة أو إشراف واعٍ لتحسين ملحوظ.

بشكل عام، توضح هذه النتائج أهمية تمييز اعتماد نموذج الإجابة على الأدلة البصرية عن كفاية تلك الأدلة لدعم إجابة فعلية. إن فهم هذا الأمر قد يساعد المطورين والباحثين في التقدم صوب نماذج أكثر فعالية وموثوقية في المستقبل.