لعل من أبرز الظواهر البصرية المثيرة هي الصور الثنائية، مثل تلك التي تمثل "البطة-الأرنب"، حيث يدفع المحتوى المرئي المشاهدين إلى تفسير الصورة بعدة طرق متناقضة. ولكن، هل يمكن لنماذج اللغات الضخمة متعددة الأنماط (Multimodal Large Language Models – MLLMs) أن تُظهر سلوكاً مشابهاً للبشر في تفسير هذه الصور؟

في دراسة جديدة، قام الباحثون باستخدام عائلة LLaVA لدراسة سلوكين أساسيين يتعلقان بكيفية استجابة هذه النماذج لهذه الصور الصعبة: الأول هو "التعديل" (modulability) والذي يعني مدى تأثر التقارير بالتفاعلات البصرية الآنية وإشارات اللغة الأعلى. والثاني هو "الخصوصية" (exclusivity)، أي ما إذا كان يمكن للنماذج أن تلتزم بتفسير واحد فقط.

وقد اختبر الباحثون افتراضاتهم باستخدام صور "البطة-الأرنب" وخوارزميات بصرية اصطناعية، للتأكد من أن النماذج لا تعتمد على ذاكرة معينة. أظهرت النتائج أن التلاعبات البصرية واللغوية تؤثر بشكل منهجي على استجابات نماذج MLLMs، مما يجعلها تميل للحصول على تقارير تتماشى مع استجابات البشر، بينما تظل المخرجات الأساسية متزامنة مع مفهوم خصوصية التفسير.

تستند هذه التغيرات إلى صراعات تمثيل الصور المميزة، إلى جانب مسارات منفصلة للتعديل من الأسفل للأعلى ومن الأعلى للأسفل، وترتبط "التقارير الحصرية" بكيفية تشفير العدد الكائنات.

لمعرفة المزيد عن تفاصيل هذه الدراسة المثيرة، يمكنكم زيارة GitHub. هل تعتقدون أن الذكاء الاصطناعي يمكنه أن يفهم الصور بنفس طريقة البشر؟ شاركونا آراءكم في التعليقات.