في ظل التقدم السريع في تكنولوجيا توليد الفيديو، بدأت الروبوتات في تعلم كيفية تنفيذ الحركات المتقدمة من مقاطع الفيديو المولّدة. ومع ذلك، واجهت هذه الأساليب تحديًا كبيرًا، حيث كانت الحركات الناتجة تفتقر إلى معلومات القوى، مما يتسبب في فشل الروبوتات في المهام التي تتطلب تفاعلاً دقيقًا مع الأجسام.

في الدراسة الجديدة، يقوم الباحثون بإدخال الصوت كعنصر ضروري لتشكيل ملف تعريف القوة المستهدفة المتغيرة بمرور الوقت، حيث يتم استخدام مستوى الصوت للأصوات المرتبطة بالاتصال. تم تطوير عملية متكاملة تعتمد على الفيديو والصوت لاستنتاج مسارات الحركة وملفات القوة المطلوبة التي يتم استنباطها من أوامر ذات لغة طبيعية منظمة.

استخدم الباحثون روبوت Franka Panda لتنفيذ هذه المسارات التي تأخذ في اعتبارها القوة من خلال مُنظم مغلق يتتبع ملف القوة الذي تم تشكيله بواسطة الصوت أثناء الاتصال. أظهرت التجارب أن النظام الجديد قادر على تحقيق نجاحات في مهام تتطلب تلامس دقيق، في الوقت الذي فشلت فيه الأساليب التقليدية المرتكزة على الحركة فقط.

يمكن اعتبار هذه العملية كأداة لتوليد البيانات التي تعد جزءًا أساسيًا من تدريب السياسات التي تحقق المهام بطريقة مغلقة، مما يعزز من قدرة الروبوتات على التعلم والتطور وتقديم نتائج أفضل في التطبيقات العملية.

لمزيد من المعلومات، يمكنك زيارة الموقع الخاص بالمشروع والاطلاع على الفيديوهات والبيانات المتاحة: رابط المشروع