في عالم التعلم الآلي المتعدد الأنماط، غالبًا ما يعتمد الفهم البصري على إشراف خارجي مثل الصور المساعدة، مما يؤدي إلى إغفال ديناميات الانتباه البصري الداخلية. ولكن، ماذا يحدث عندما نترك هذه الفجوات الإدراكية وراءنا؟

في دراسة جديدة، تم ترويج إطار LaViT (Aligning Latent Visual Thoughts) الذي يركز على تحسين تكامل الأفكار البصرية اللاتينية بدلاً من الاعتماد على النماذج الثابتة. يكشف البحث عن ما يسمى بـ "الفجوة الإدراكية" في عملية التقطير، حيث تميل النماذج الطالبية إلى التقليد فقط لمخرجات المعلم النصية بينما تتجه إلى مناطق بصرية متباينة، مما يعني اعتمادها على سابقات لغوية أكثر من اعتمادها على الإدراك الحقيقي.

يهدف LaViT إلى سد هذه الفجوة من خلال إجبار الطلاب على إعادة بناء دلالات المعلم البصرية ومسارات الانتباه قبل توليد النص. ويتم تحقيق ذلك عبر آلية تنظيم حسية تعليمية تمنع التعلم السريع وترسخ علاقات أكثر دقة بين البصري والنصي.

تظهر التجارب الواسعة أن LaViT يزيد من دقة الربط البصري بشكل كبير، حيث حققت النماذج المصغرة من الفئة 3B ارتفاعًا يصل إلى +16.9% في مهام التفكير المعقد. بل ونجحت في التفوق على النماذج الأكبر حجمًا والتقنيات الاحتكارية مثل GPT-4o.

في الختام، تمثل LaViT خطوة مهمة نحو تعزيز النموذج البصري والتفاعلي في التعلم العميق، مما يبشر بعصر جديد من الذكاء الاصطناعي القادر على الفهم الأعمق للأبعاد المتعددة.