أين تكمن موثوقية نماذج الرؤية-اللغة؟ دراسة آلية تكشف خفايا الانتباه والدول المخفية

في عالم الذكاء الاصطناعي (Artificial Intelligence)، تُعتبر نماذج الرؤية-اللغة (Vision-Language Models) من الابتكارات الرائدة التي تفتح آفاقاً جديدة لفهم التفاعل بين الصورة والنص. ومع ذلك، يتساءل الخبراء عن مدى موثوقيتها، خاصة عندما يتعلق الأمر بتقييم استجاباتها.

كشفت دراسة حديثة أجريت على ثلاثة نماذج مفتوحة الوزن (LLaVA-1.5, PaliGemma, Qwen2-VL) عن العديد من المفاجآت المتعلقة بموثوقية هذه النماذج. وفقاً لما عرف بـ "فرضية الانتباه والثقة"، يُعتقد عادةً أن التركيز العالي على المناطق المطلوبة في الصور يدل على استجابة دقيقة وموثوقة. لكن النتائج جاءت لتحطم هذه الفكرة، حيث أظهر التحليل أن هيكل الانتباه ليس له تأثير كبير على صحة استجابة النموذج، مما أسفر عن نتائج قد تُغير الطريقة التي نفهم بها عمل هذه النماذج.

تتحدث الدراسة عن كيفية التفاعل بين صفر من التنبؤ عند النظر في هيكل الانتباه، وضرورة هذا الهيكل في استخلاص الميزات. عند إجراء تحليلات تفصيلية، ثبت أن النماذج التي تعتمد على الفيوجن المتأخر (late-fusion) مثل LLaVA تُظهر موثوقية غير مستقرة، حيث تركز هذه النماذج على نقطة اختناق ضيقة تُطلب منها الثقة، وهذا قد يؤدي إلى تراجع دقة تحديد الكائنات. من ناحية أخرى، تتيح نماذج الفيوجن المبكر (early-fusion) توزيع الموثوقية بشكل أوسع، مما يجعلها أكثر قدرة على التعامل مع انخفاض الأداء عند فقدان أجزاء من البيانات.

لذا، يبدو أن الأفضل في التقييم يعتمد على تصميم الدول المخفية (hidden-state geometry) ونظام الدارات المتفرقة (sparse circuits) أكثر من الاعتماد على حدة خريطة الانتباه، وهو اكتشاف قد يُحدث تحولاً في أساليب تطوير وقياس مثل هذه النماذج.

يُعتبر هذا التطور في بحوث الذكاء الاصطناعي مثالاً ملموساً على أهمية الاستمرار في دراسة التفاعلات بين عناصر نماذج التعلم العميق. فما رأيكم في هذا التطور؟ شاركونا في التعليقات.