استكشاف حدود نماذج اللغة المرئية: لماذا تفشل في التعبير عن الحدود المعرفية؟

أدت التطورات المثيرة في مجال الذكاء الاصطناعي إلى ظهور نماذج اللغة المرئية (Vision-Language Models) التي تجمع بين القدرة على معالجة المعلومات البصرية والنصوص. ومع ذلك، كشفت دراسة جديدة أن هذه النماذج تواجه تحديات كبيرة عند التعامل مع حالات الإبهام أو الازدحام البصري. في دراسة منشورة على arXiv، قدم الباحثون نظام اختبار جديد يحمل اسم TRAPSBench، وهو عبارة عن مجموعة من الفيديوهات المولدة بشكل إجرائي تحتوي على 1,404 زوج من الظواهر الفيزيائية المطابقة.

تعمل الدراسة على تقديم مفهوم جديد وهو "مقياس ضبط المعرفة المثبط" (Penalized Epistemic Calibration Score - PECS)، الذي يتطلب من النماذج أن تقدم إجابات صحيحة متى ما كان السيناريو واضحًا، وأن تمتنع عن الإجابة عندما تكون النتائج غير محددة.

بالرغم من أن النماذج تُظهر قدرة على التعرف على الحالات التي تتطلب الامتناع عن تقديم إجابة، إلا أن الأداء العام كان ضعيفًا، حيث بلغ أفضل نتيجة في PECS 0.292. يبدو أن المشكلة تكمن في التعبير عن تلك المعرفة بدلاً من القدرة على إدراكها. فالتجارب أظهرت أن انضباط النماذج في حالات الإبهام البصرية كان أقل بكثير مقارنة بالمعلومات النصية، حيث كانت النماذج تستجيب لنقص الأدلة البصرية بنحو أربع مرات أبطأ من استجابتها لنقص الأدلة النصية.

هذه النتائج تتطلب تحسينات في مراحل الإنتاج حتى يتم معالجة الفجوة بين تمثيل المعرفة والإنتاج. يفتح هذا البحث آفاقًا جديدة لفهم التحديات التي تواجه أنظمة الذكاء الاصطناعي، مما يستدعي نقاشات معمقة حول كيف يمكننا تحسين قدرات هذه النماذج في المستقبل.