في عالم يتسابق فيه الذكاء الاصطناعي نحو الابتكار، يظهر مشروع EgoPro-Bench كخطوة جديدة ومهمة نحو تحقيق تفاعلات أكثر استباقية وشخصية. سابقًا، اعتمدت نماذج اللغات المتعددة النمط (Multimodal Large Language Models) على تفاعلات تفاعلية، مما جعلها تتجاهل العديد من جوانب التفاعل المستمر مع البيئة.

تعرّف على EgoPro-Bench، المعايير الجديدة التي قُدِّمت لتدريب وتقييم قدرات التفاعل الاستباقي، حيث تعتمد على فيديوهات ذاتية تُظهر تجارب المستخدمين الواقعية لمدة 2400 فيديو تمثل مجموعة التقييم، وأكثر من 12000 فيديو لمجموعة التدريب. تهدف هذه المبادرة إلى استغلال ملفات تعريف المستخدمين المُحاكاة لتوليد نوايا مستخدم متنوعة، مما يُعزز من فهم الإنسان للآلة (Human-Machine Interaction) في 12 نطاقًا مختلفًا.

باستخدام بروتوكولات تقييم متخصصة، تم تصميم نماذج للتفاعل الاستباقي تستند إلى تحليل البيانات المرئية، مما يؤدي إلى تفاعل سريع وذكي. وقدم الفريق مبدأ جديد يُعرف بـ "التفكير القصير، التفاعل الأفضل"، والذي يُساهم في تخصيص ميزانية رموز محددة قبل التعرف على النية، مما يعزز من أداء التفاعل بشكل ملحوظ.

تظهر التجارب أن EgoPro-Bench يُعزز بشكل كبير من قدرات فهم النوايا لدى نماذج اللغات المتعددة النمط، مما يتيح التعرف الدقيق على الأوقات المناسبة للتفاعل الفردي، وهذا يمثل أساسًا قويًا لوكلاء تفاعليين متقدمين يركزون على المستخدمين في المستقبل.