في عالم الذكاء الاصطناعي، يعاني تطوير الروبوتات من قيود ملحوظة عندما يتعلق الأمر باتباع التعليمات. بينما أظهرت نماذج العمل العالمية (World Action Models - WAMs) قدرات فائقة في معالجة الحركة من خلال دمجها مع نماذج فيديو مولدة مسبقاً، إلا أن هذه النماذج ما زالت تواجه صعوبة في تفسير التعليمات النصية لوحدها. وقد تم توضيح أن هذا القصور يعود جزئياً إلى اختلال هيكلي في بيانات تعلم الروبوت، حيث إن المسارات البصرية الحيوية غالباً ما تكون مرتبطة بتعليقات لغوية متكررة وغير غنية.

للتغلب على هذه التحديات، تم تقديم نموذج JEPA-WAM. يقدم هذا النموذج ابتكارًا غير مسبوق من خلال تعزيز كل تعليم نصي بمجموعة من التعليمات البصرية المولدة بشكل عشوائي، مما يوفر إشارات بصرية متنوعة تساعد في فهم التعليمات. يتيح JEPA-WAM استخدام مولد نص إلى صورة موجود مسبقًا لتوليد صور متعددة تُظهر إتمام المهمة، دون الحاجة لتدريب جديد. وعلى الرغم من أن هذه الصور قد تختلف في الشكل والتوزيع عن المشهد الحالي، إلا أنها تظل متوافقة مع المعنى المقدم في التعليمات.

تتمثل الفكرة الرئيسية في التركيز على المعاني السياقية للمهمة بدلاً من المظهر. يتم ترميز هذه المراجع باستخدام مشفر V-JEPA 2.1 الثابت، مما ينتج عنه تمثيلات هدف كثيفة تُضغط إلى رموز أهداف مضغوطة. هذه الرموز تشارك بعد ذلك في توجيه كل من الخبراء في الفيديو والعمل عبر اهتمام متقابل.

تم إنشاء معيار جديد لتتبع التعليمات للروبوتات، ويركز على المشاهد والطبيعة المعلوماتية المتنوعة. في هذا المعيار، حقق JEPA-WAM معدلات نجاح رائعة بلغت 87.3% و74.5% و80.9% في السيناريوهات المختلفة، متفوقاً على نماذج مثل {π}0 وFast-WAM بفارق لافت لم يكن أقل من 10%.

إن ابتكار JEPA-WAM ليس مجرد خطوة جديدة في عالم الذكاء الاصطناعي، بل هو استجابة قابلة للتطبيق لتحديات شائكة تواجه تطور الروبوتات. ما رأيكم في هذا التطور المثير؟ شاركونا في التعليقات!