تعتبر البيئات الخطرة مثل مواقع الكوارث والمنشآت الصناعية من التحديات الكبيرة أمام المشغلين البشريين، حيث يتطلب تشغيل الروبوتات والطائرات دون طيار (UAVs) طرقًا مبتكرة وموثوقة. ومن هنا جاءت أهمية تطوير نظام تشغيل قائم على التعرف على الإيماءات بشكل غير يدوي (hands-free)، مما يعزز من حركة المشغلين ووعيهم بالبيئة المحيطة، وبالتالي يزيد من مستوى الأمان في مثل هذه الأوضاع.

في الآونة الأخيرة، تم تقديم إطار عمل جديد للتعرف على الإيماءات متعددة الحساسات، يتضمن بيانات حركية (من مستشعرات التسارع والجيروسكوب) من ساعات أبل الذكية المثبتة على معصمي المشغلين، جنبًا إلى جنب مع إشارات استشعار سعة من قفازات مخصصة. وقد تم تصميم استراتيجية دمج متأخرة تعتمد على نسبة الاحتمال اللوجستي (Log-Likelihood Ratio)، التي لم تعزز فقط من أداء التعرف ولكنها أضافت أيضًا قابلية الفهم من خلال كفاءة ووضوح المساهمات الفردية لكل نوع من الأجهزة.

هذا البحث أسفر عن مجموعة بيانات جديدة تتضمن 20 إيماءة مختلفة مستوحاة من إشارات توجيه الطائرات، وتحتوي على فيديوهات متزامنة وأبعاد حركة وإشارات استشعار، مما يعزز التجارب العملية.

تشير النتائج التجريبية إلى أن إطار عملنا حقق أداءً مماثلاً لأفضل الحلول المعتمدة على الرؤية، مع تقليل ملحوظ في تكاليف المعالجة وحجم النموذج ووقت التدريب، مما يجعله مناسبًا للاستخدام الفوري في التحكم في الروبوتات.

بهذا، فإننا نؤكد على قدرة التكامل متعدد الحساسات كحل موثوق وقابل للفهم لتشغيل الروبوتات والطائرات دون طيار عبر الإيماءات. هل أنتم مستعدون للاطلاع على المستقبل الواعد لهذه التكنولوجيا؟