في عالم الذكاء الاصطناعي، حققت نماذج اللغة متعددة الوسائط (Multi-modal Large Language Models) تقدمًا ملحوظًا على العديد من المعايير، ومع ذلك لا يزال مدى فعاليتها في العالم الحقيقي غير مؤكّد. يعود سبب هذه الفجوة إلى عدم التوافق الأساسي بين المعايير المرسخة في بيئات ثابتة ومراقبة، والطبيعة الديناميكية والتفاعلية والسياقية لاستخدامها في الحياة العملية.

لحل هذه القضية، تم اقتراح إطار جديد يسمى CEDI (التقييم السياقي لنماذج اللغة متعددة الوسائط من خلال تفاعلات ديناميكية ومتعددة الجولات)، والذي يعيد تشكيل عملية التقييم على أنها تفاعل ثلاثي الأطراف بين النموذج الذي يتم تقييمه، وممتحن آلي، ومقيم. يقوم المثبت بإجراء محادثات متعددة الجولات شبه المنظمة تستند إلى تمثيل بياني للمهام.

من خلال التنقل بين مراحل الحالة، تعتمد CEDI استراتيجيات متنوعة، من طلبات التوضيح إلى اختبارات استقصائية، لتوليد أدلة أدائية مقنعة. تم تطبيق إطار CEDI على هلاوس الصورة (visual hallucinations)، وتظهر النتائج التجريبية عبر نماذج متعددة وإعدادات متنوعة وبيانات متعددة أن التقييمات التفاعلية والسياقية تكشف عن هلاوس أكثر بشكل كبير مما تفعله التقييمات الثابتة التقليدية، كما أنها تماثل الهلاوس التي تحدث في المواقف العملية.

علاوة على ذلك، أوضحت الدراسات أن الهلاوس تتجمع في كثير من الأحيان على مدى سياقات طويلة، من خلال سجل الحوار الذي يعزز الذات، وأن النماذج تكون عرضة بشكل خاص لأسئلة تتطلب رفض الفرضية أو الرفض.

تجمع هذه النتائج معًا لتبرز CEDI كخطوة نحو تقييمات واقعية ومنهجية وصحيحة بيئيًا لقدرات نماذج اللغة متعددة الوسائط. يمكنكم الاطلاع على الشيفرة المصدرية عبر الرابط: [رابط الشيفرة].