تظلّ عملية التنبؤ بنتائج تصرفات الروبوتات في البيئات المعقدة واحدة من أبرز التحديات في حقل الروبوتات. في كثير من الأحيان، تعتمد النماذج الحالية على الملاحظات البصرية وبيانات الحركة لتوليد توقّعات قائمة على الفيديو، مما يتجاهل في كثير من الأحيان الدور الحيوي الذي تلعبه ملاحظات اللمس في فهم التفاعلات الفيزيائية.

خلال دراستنا الجديدة، نسلط الضوء على كيفية دمج المعلومات البصرية واللمسية ضمن نظم الإدراك التنبؤية لتفاعلات الروبوتات الفيزيائية. أظهرنا أن التنبؤات متعددة الأبعاد بين الرؤية واللمس تعزز بشكل كبير فعالية الروبوتات في بيئات ذات تفاعلات غير واضحة، حيث تكون الفوائد واضحة عندما تكون ديناميكيات الأجسام غير قابلة للرؤية بشكل مباشر.

كما نقدم مجموعتين من البيانات الجديدة المخصصة لدراسة دفع الروبوتات، والتي تم جمعها باستخدام حساسات لمسية تعتمد على المغناطيس للتعلم غير المراقب. تتكون المجموعة الأولى من أجسام متشابهة بصرياً ولكنها تحمل خصائص مادية مختلفة، وبالتالي تعزل حالة الغموض الفيزيائي المرتبط بالتفاعلات. بينما تعكس المجموعة الثانية المعايير الحالية لدفع الروبوتات والتي تشمل مجموعات من الأجسام المنزلية.

تظهر نتائجنا أن دمج معلومات اللمس والرؤية يحسن دقة التنبؤ وقوة التحمل في ظل عدم وضوح الظروف الفيزيائية، في حين تكون الفوائد محدودة في الظروف الواضحة بصرياً. يمكنكم الوصول إلى الكود ومجموعات البيانات بشكل مفتوح لدعم هذا البحث ونشر الابتكار في هذا المجال.