في تجربة مثيرة تبرز أهمية اختيار التجارب الفيزيائية لدى نماذج اللغة البصرية (Vision Language Models)، تم اختبار ما إذا كانت هذه النماذج قادرة على اتخاذ قرارات دقيقة تتعلق بالتجارب المعقدة.

تم تصميم النموذج لرؤية صورة من تجربة قياس فيزيائية، مثل مدى انزلاق كتلة، ثم تلقي سؤالاً حول تجربة جديدة، مثل ما إذا كانت الكتلة ستجتاز هدفًا بعد دفع محدد. في بعض الحالات، قد يقدم القياس الأول معلومات كافية للإجابة، في حين قد يحتاج النموذج إلى قياسات إضافية مثل كتلة الجسم، الاحتكاك، استرداد الطاقة، أو صلابة النابض.

أجرت الدراسة تقييمًا منضبطًا، حيث يوفر كل سؤال صورة قياس واحدة وأربعة عوالم فيزيائية محتملة تم إنشاؤها من خلال دمج كتلتين ممكنتين وقيمة أخرى ذات صلة. كان على النموذج أن يختار إما التوقف والإجابة أو انتقاء التجربة الإضافية الأقل تكلفة لحل السؤال المطروح.

لقد أظهرت النتائج أن النماذج استجابت بنفس الطريقة لما يقرب من 95.1% إلى 100% من أزواج الصور، حتى عندما تتغير الإجراءات الصحيحة. كما أظهر التحليل الإضافي فشلًا في تفسير القياسات ومنطق الفهم الفيزيائي.

من خلال تقييم اختيار الأدلة بشكل منفصل عن الإجابات النهائية، يكشف المعيار الجديد عن قيود مهمة في التفكير الفيزيائي التي قد يغفلها دقة الإجابة التقليدية. هذه الاكتشافات تفتح الأبواب أمام تحسين نماذج اللغة البصرية لتكون أكثر قدرة على تحديد الخيارات الأمثل في سياقات متعددة.

ما رأيكم في هذه النتائج؟ هل تعتقدون أن نماذج الذكاء الاصطناعي ستتطور لتكون أكثر فعالية في اتخاذ القرارات المعقدة؟ شاركونا آرائكم في التعليقات!