في عالم الذكاء الاصطناعي، تتزايد أهمية نماذج اللغة متعددة الوسائط (Multimodal Large Language Models - MLLMs) كأدوات تفاعلية متطورة. لكن، هل يمكن الاعتماد عليها بالفعل؟ تبرز الإشكالية هنا، فبجانب تنفيذ التعليمات، ينبغي على هذه النماذج أيضاً أن تتحقق من صحة المدخلات التي تتلقاها. وقد تم تعريف العملية الجديدة بـ "النقد الاستباقي"، أي القدرة المتمثلة في إمكانية النموذج التعرف على المدخلات المعيبة، تحليلها وإصلاحها دون الحاجة إلى توجيهات إضافية.

ومع ذلك، فإن معظم التقييمات تركز فقط على اختبار النماذج في ظروف مثالية أو مواقف رفض بسيطة. لذا، لتجاوز هذه الفجوة، تم تقديم إطار العمل MMPCBench، الذي يُعدّ بديلاً شاملاً لتقييم كفاءة النقد الاستباقي لدى نماذج MLLMs.

يعتمد MMPCBench على تصنيف دقيق يتضمن أربعة أنواع رئيسية من الأخطاء، تضُم 12 فئة فرعية، تتراوح من التناقضات بين القطاعات إلى عدم وجود مقدمات بصرية. هذا النظام الجديد يقيس أداء النموذج في كشف الأخطاء وتشخيصها وحلها عبر بروتوكول تقييم هرمي.

التجارب التي أُجريت على 14 نموذجاً رائداً في هذا المجال أظهرت نقاط ضعف ملحوظة في النقد الاستباقي، خصوصاً عند التعامل مع الشذوذات البصرية الدقيقة. ومن المثير للدهشة، تم تحديد وجود "فجوة التناسق"، حيث يمكن للنماذج أن تتعرف بشكل صحيح وتقوم بتحليل الأخطاء أثناء التفكير الداخلي لكنها تخفي هذه الرؤى الشرعية في النواتج النهائية لتلبية متطلبات الاستجابة.

للاستزادة، يمكنكم زيارة المشروع على هنا. هذا التطور الجديد يطرح تساؤلات حقيقية حول موثوقية النماذج وقدرتها على التعامل مع الأخطاء. هل أنتم متحمسون لهذا التقدم؟ شاركونا آرائكم في التعليقات!