متى تتجاهل نماذج الرؤية واللغة قواعدها الداخلية؟ دراسة مثيرة تشير إلى تباين السلوك بين البشر والآلات!

تعتبر دراسة جديدة حول نماذج الرؤية واللغة (Vision-Language Models - VLMs) خطوة مهمة لفهم سلوك هذه الأنظمة في سياقات مختلفة. حيث يتمثل التحدي الرئيسي في معرفة متى يمكن لهذه النماذج أن تتصرف بشكل غير متوقع، وما إذا كانت تستطيع التنبؤ بسلوكها الخاص.

تم تقديم مجموعة بيانات جديدة تُعرف باسم مجموعة تصنيف الألوان المُدرجة (Graded Color Attribution - GCA)، التي تُعتبر معياراً مُتحكماً للمساعدة في تقييم قدرة النماذج على الالتزام بالقواعد التي تحددها بنفسها. تتضمن هذه المجموعة رسومات خطية تختلف في تغطية الألوان على مستوى البكسل، مُقسمة إلى ثلاث حالات: إعادة تلوين قائمة على المعرفة العالمية، إعادة تلوين مضادة للحقائق، وأشكال لا تتضمن افتراضات لونية.

لإجراء هذه الدراسة، طُلب من كل من النماذج البشرية و VLMs أن يحددوا قاعدة عتبة، تتعلق بالنسبة المئوية للبكسلات التي يجب أن تكون بلون معين لتتلقى الكائن تصنيف ذلك اللون.

أظهرت النتائج أن النماذج تنتهك قوانينها الداخلية بشكل نظامي؛ على سبيل المثال، نموذج GPT-5-mini ينتهك قواعده الأمامية في حوالي 60٪ من الحالات بالنسبة للأشياء التي لديها افتراضات لونية قوية. بينما ظل المُشاركون البشر ملتزمين بقواعدهم، حيث تم تفسير أي انتهاكات ظاهرية بواسطة ميول مُعروفة للتجاوز في تقدير تغطية الألوان.

المثير للاهتمام، أن النماذج يمكنها تقدير تغطية الألوان بدقة، إلا أنها تتناقض مباشرة مع تفكيرها عند إعطاء الردود النهائية.

هذه النتائج تطرح تساؤلات حول طبيعة الفشل في التفكير لدى VLMs وتحدي الرؤية القائلة بأن تلك الإخفاقات ناتجة عن صعوبة تكنولوجية، مما يشير إلى أن المعرفة الذاتية للنموذج Miscalibrated، وهو ما قد يكون له آثار كبيرة على التطبيقات الحساسة.