في عالم الذكاء الاصطناعي، يعد تنبؤ حركات الإنسان القصيرة المدى خطوة حاسمة نحو تطوير أنظمة تفاعلية أكثر ذكاءً، بدءًا من الروبوتات المساعدة وحتى تفاعلات الإنسان مع الكمبيوتر. في دراستنا الجديدة، نسلط الضوء على عنصر محوري غالبًا ما يتم تجاهله في نماذج التنبؤ: الإشارات العاطفية التي تنبع من تعابير الوجه.

تحقق هذه الدراسة من إمكانية استخدام العواطف المستمدة من تعابير الوجه كمؤشرات مساعدة لتوقع حركات الإنسان على المدى القصير. ولتحقيق ذلك، تم تطوير نموذج عالمي خفيف الوزن يقوم بتنبؤ 15 خطوة أمامية. يعتمد هذا الإطار على دمج نقاط الحركة مع مدمجات العواطف عبر آلية بوابة قابلة للتعلم، ويعتمد على نموذج تسلسل متكرر مبني على بنية LSTM ذات طبقتين.

تم إجراء تجارب على مجموعتين من مقاطع الفيديو: الأولى تحتوي على تسلسلات حركية محكومة مع تغييرات طفيفة في تعابير الوجه، والثانية تتضمن تسلسلات حركية مدفوعة بالعواطف مع تغييرات ملحوظة. أظهرت النتائج أن الدمج البسيط بين الأنماط المتعددة لم يحسن دقة التنبؤ بشكل ثابت، بينما أدى الدمج القائم على البوابة إلى تعزيز الأداء بشكل كبير في تسلسلات الحركة المدفوعة بالعواطف.

علاوة على ذلك، أظهرت التجارب المضادة أن المسار المتوقع يظهر حساسية ملحوظة تجاه التغييرات في المدخلات متعددة الأنماط، مما يدل على أن مدمجات تعابير الوجه تعمل كمؤشرات مساعدة بدلاً من ميزات زائدة. تبرز هذه النتائج الفعالية العالية لإدماج مدمجات العواطف المستمدة من تعابير الوجه في نماذج التنبؤ القصيرة الأمد.