في عالم الذكاء الاصطناعي، يعتبر توافق الأداء بين الأنظمة الذكية والبشر موضوعًا حيويًا يثير الفضول. وقد أظهرت دراسة حديثة أجراها الباحثون في مجال التفاعل بين أنظمة النمذجة اللغوية والرؤية، أن التركيز البصري وتوقع الكلمات يسهمان بشكل كبير في تعزيز هذا التوافق.

خلال الدراسة، تم مقارنة خمسة من أبرز أنظمة الذكاء الاصطناعي المدربة مسبقًا مع 600 مشارك من البشر في تجربة مثيرة تمت عبر الإنترنت. اعتمدت هذه التجربة على نموذج "العالم البصري"، حيث عرض للأفراد 100 مقطع فيديو مدته ست ثوانٍ.

في كل تجربة، تم تزويد المشاركين ببيانات نصية فقط أو نصوص متزامنة مع الفيديو، حيث كان عليهم تقييم احتمالية ظهور كلمة مستهدفة. وتم تتبع حركات العين لديهم طوال التجربة.

أشارت النتائج إلى أن إضافة السياق البصري حسنت مستويات التوافق بين تقديرات النماذج البشرية، بمعدل زيادة قدره 0.18، وهذا لم يتأثر بحجم النموذج. الجدير بالذكر أن الانتباه في النماذج العصبية - خصوصا طرازات Transformer - كان له تأثير ملحوظ على تعزيز التوافق عندما كان السياق البصري مفيدًا.

توضح القيم المستخرجة من مجموعة من خرائط الانتباه لنموذجين مختلفين كيف تطابقت مع نظرة البشر، حيث تفسر حتى 70% من التباين بين المشاركين عندما تحتوي المشاهد على إشارات مفيدة. والأهم من ذلك أن الانتباه عبر النماذج تم تتبعه بشكل موثوق في كيفية توقع البشر للمعلومات الدلالية.

تشير هذه النتائج إلى أن نماذج الذكاء الاصطناعي القائمة على Transformer يمكن أن تحاكي السلوك البشري من خلال استغلال السياقات البصرية أثناء توقع الكلمات. لذا فإن الانتباه الانتقائي للإشارات المفيدة، وليس فقط حجم النموذج، هو المحرك الرئيسي لهذا التوافق بين البشر والذكاء الاصطناعي.