في دراسة حديثة تناولت نماذج اللغات الضخمة متعددة الوسائط (MLLMs)، تم التطرق إلى كيفية ارتباط الأنماط البصرية بالأسباب والنتائج والمعرفة المتخصصة. لكن السؤال المحوري هو: هل هذه التفسيرات مدعومة بأدلة قاطعة؟

ركزت الدراسة على 102 تصوير من مصادر متعددة، مستندة إلى ثلاثة نماذج (Gemini وGPT) وأربعة ظروف إدخال مختلفة تتناول كيفية الوصول إلى الصور والسياق الرسومي القابل للوصول. من خلال تحليل 1,224 وصفاً، تم تصنيف التفسيرات إلى ثلاث فئات: مباشرة (DIRECT)، مشتقة (DERIVED)، وتخيلية (SPECULATIVE).

أظهرت النتائج أن الوصول إلى السياق الرسومي أدي إلى تحرك نماذج Gemini وGPT نحو التصنيفات المباشرة وزيادة التوافق الرقمي لبعض النماذج. ومع ذلك، لم يؤدي إضافة الصورة إلى السياق الكامل إلى فائدة رقمية ثابتة، كما أن استخدام تحفيز السياق المحجوب لم يُظهر زيادة موثوقة في اللغة الحذرة. يبقى قسم الأهمية الواقعية الذي حدده التحفيز في الغالب مندرجاً تحت التصنيفات التخيلية.

هذه النتائج تدفعنا نحو تطوير أنظمة وصف قابلة للوصول تميز بين الادعاءات المدعومة بأدلة موفرة من النموذج والتفسيرات الموردة من النموذج ذاته. يعد هذا التطور بمثابة دعوة للتفكير في كيفية استخدامنا للذكاء الاصطناعي في اتخاذ القرارات المبنية على المعلومات البصرية.