في السنوات الأخيرة، أصبحت نماذج الرؤية-اللغة (Vision-Language Models) جزءاً لا يتجزأ من تطبيقات القيادة الذاتية، حيث تهدف إلى استغلال قدراتها في التفكير والتعميم لإدارة السيناريوهات المعقدة. ورغم ذلك، تظهر الدراسات أن هذه النماذج تفشل أحياناً في الإجابة عن أسئلة بصرية بسيطة تكون ذات صلة مباشرة بالقيادة.

تبرز هذه الدراسة أهمية فهم العمليات الداخلية لنماذج الرؤية-اللغة، حيث نقوم بتحليل التنشيطات الوسيطة لهذه النماذج لتحديد مدى تشفير المفاهيم البصرية بشكل خطي. لتحقيق ذلك، قمنا بإنشاء مجموعات صور مضادة تختلف في مفهوم بصري معين، ثم قمنا بتدريب مجسات خطية (linear probes) لتمييز بين هذه المفاهيم باستخدام تنشيطات خمسة من نماذج الرؤية-اللغة المتطورة.

أظهرت النتائج أن مفاهيم مثل وجود كائن أو عامل في مشهد ما يتم تشفيرها بشكل صريح وخطي، بينما المفاهيم البصرية الأخرى مثل اتجاه الكائن أو العامل تكون مشفرة بشكل ضمني أو قد لا تكون مشفرة خطياً على الإطلاق. كما لاحظنا أنه حتى في الحالات التي يكون فيها المفهوم مشفراً خطياً، قد تفشل النماذج في تقديم الإجابات الصحيحة.

نخلص إلى وجود نوعين من حالات الفشل: الفشل الإدراكي، حيث لا تتوفر المعلومات البصرية اللازمة للإجابة بشكل صحيح، والفشل المعرفي، حيث تكون المعلومات موجودة لكن النماذج تفشل في الربط بينها وبين الدلالات اللغوية. وأظهرنا أخيراً أن زيادة المسافة بين الكائن المفهوم والسياق تضعف الفصل الخطي لهذا المفهوم.

تطرح هذه النتائج أسئلة مهمة حول كيفية تحسين نماذج الرؤية-اللغة لتكون أكثر فعالية ودقة في تطبيقات القيادة الذاتية. فما رأيكم في تطوير هذه النماذج؟ شاركونا آراءكم في التعليقات.