في عالم الذكاء الاصطناعي، يعاني الكثير من نماذج اللغة ذات الرؤية (Vision-Language Models - VLMs) من قيود عند التعامل مع مسائل التفكير البصري، على الرغم من تقدم نماذج اللغة الكبيرة (Large Language Models - LLMs) في هذا المجال. دراسة جديدة تكشف عن كيفية استغلال عدم التناسق بين الرؤى الشاملة، مثل النصوص والرسوم البيانية، لتطوير نهج جديد يدعى MIRROR.

تقنية MIRROR تعتمد على مفهوم التعلم المعزز (Reinforcement Learning) لتحسين التفكير متعدد الوسائط عن طريق تعزيز العمليات المعرفية المنفصلة في النماذج. في هذه الطريقة، يتم تقييم أداء النموذج تحت جميع الرؤى، ويتم اختيار أنسب رؤية كمرشد لتدريب الرؤى الأخرى.

تم بناء مجموعة بيانات جديدة تسمى ODA-Data، والتي تشمل أمثلة موحدة من مشاكل الهندسة تتضمن وجهات نظر نصية وصورية ومختلطة. الهدف من هذه البيانات هو تعزيز إدراك النموذج لمعالجة المشكلات بطريقة أكثر تناسقاً ودقة.

الدراسة أظهرت أن تقنية MIRROR لا تتفوق فقط على تقنيات التعلم المعزز القياسية، بل نجحت أيضاً في توفير أداء أكثر دقة وثباتاً عبر وسائط متعددة، مما يمثل خطوة كبيرة نحو تحسين قدرة نماذج الذكاء الاصطناعي في معالجة المعلومات المعقدة.