يسرنا الإعلان عن دراسة جديدة تستكشف تأثير الأوهام الظرفية (situational illusions) على نماذج اللغات الكبيرة المتعددة الوسائط (Multimodal Large Language Models) وكيف يمكن التغلب على هذه التحديات في التطبيقات الواقعية.

يعتبر الوهم الظرفي ظاهرة تتجلى عندما تسير مظهر الأوضاع في العالم الحقيقي بعيدًا عن حالاتها الفيزيائية الأساسية، مما يشكل تحديًا كبيرًا أمام موثوقية هذه النماذج.

تقوم الدراسة بتطوير تصنيف شامل يوضح مواقع حدوث هذه الأوهام وماهية الأهداف التي تأخذها، وكيف تظهر. بناءً على هذا التصنيف، تم تقديم MSIBench، وهو معيار مصمم لتقييم قدرات التمييز والفهم والاستدلال لنماذج اللغات تحت تأثير الأوهام الظرفية.

أظهرت التقييمات التي أجريت على 27 نموذجًا تكوينات أن هذه النماذج تعاني بشدة من تأثير الأوهام الظرفية، مع وجود 6 أنماط فشل نموذجية تتعلق بالملاحظة البصرية والاعتبار والاستدلال.

للتغلب على هذه القيود، تم تطوير أساليب جديدة تتضمن فحص النظام واستدلال على الأدلة البصرية لفهم السياقات، وتطوير استراتيجيات لتحسين أداء النماذج المغلقة والمفتوحة، مما أدى إلى تحسين الأداء بنسبة تصل إلى 20%.

تعتبر هذه الاكتشافات خطوة هامة نحو تحقيق فهم وتحليل موثوق في البيئات الواقعية المعقدة.