في عصر تكنولوجيا الذكاء الاصطناعي، أصبحت النماذج اللغوية البصرية (Vision Language Models - VLMs) أدوات أساسية تُستخدم في اتخاذ القرارات الصناعية، لا سيما في مجالات مثل دعم التوظيف والتوصيات. مع ازدياد اعتماد هذه النماذج، برزت أهمية تحليل كيفية معالجة هذه الأنظمة للمعلومات المرئية والنصية بشكل دقيق.

أحدثت دراسة حديثة ثورة في الفهم التقليدي لوظيفة النماذج البصرية من خلال التركيز على تأثير الأساليب البصرية، وخاصة اللون، على طريقة تفسير النصوص التي يتم عرضها كصور. تم تطوير مفهوم جديد يُسمى "المحفزات البصرية الخفية" (Stealth Visual Prompts) التي تغير بشكل دقيق من أسلوب النص، مثل اللون والتباين، دون التأثير على المحتوى الدلالي للنص.

من خلال هذه المحفزات، تمكن الباحثون من السيطرة بشكل منهجي على تصميم النصوص المرئية وقياس تأثيرها على التحليل الذي تُجريه VLMs. أظهرت التجارب أن تلوين الكلمات الإيجابية باللون الأخضر يميل إلى تحويل التوقعات المتعلقة بالمشاعر نحو الاتجاه الإيجابي بشكل مستمر. وبالتالي، فإن النماذج غالبًا ما تفشل في التعامل بشكل صحيح مع الكلمات السلبية الموجودة في النص.

تشير التحليلات إلى أن هذا السلوك مرتبط بالتغيرات في التمثيلات الكامنة الخاصة بموالف الرؤية. بالإضافة إلى ذلك، إظهار التباين المنخفض بين النص والخلفية يزيد من الاعتماد على المؤشرات البصرية، مما يؤدي إلى نتائج غير صحيحة في إجابات الأسئلة المرئية (Visual Question Answering - VQA). هذه النتائج تعكس أن الأسلوب البصري للنص يمكن أن يُوجه تفسير VLMs بطرق تختلف عن الفهم البشري.

تسليط الضوء على هذه الديناميات يفتح الأفق لمزيد من الأبحاث لفهم كيف يمكن تحسين أداء النماذج اللغوية البصرية والتقليل من التحيزات غير المرغوبة في الأنظمة الذكية. ما هي آرائكم حول تأثير اللون على النماذج الذكية؟ شاركونا في التعليقات!