في عالم الذكاء الاصطناعي والروبوتات، تمثل الدقة في فهم كيفية تفاعل الأيدي مع الأجسام تحدياً كبيراً. هذا هو المكان الذي يأتي فيه الابتكار الجديد EgoTactile، الذي يتيح تقدير ضغط القبضة الكامل من خلال فيديو إغوجنتي (Egocentric Video). يعتبر هذا البحث محوريًا لتحسين التفاعل داخل بيئات الواقع الافتراضي (VR) وعمليات اليد التلقائية.

تعاني معظم الأنظمة الحالية من قيود، حيث تعتمد على أجهزة استشعار لمسية معقدة وعادة ما تركز فقط على الأسطح المسطحة أو نقاط الاتصال بأطراف الأصابع، مما يجعلها غير قادرة على التعميم على التفاعلات الثلاثية الأبعاد المعقدة. لذلك، تم تطوير EgoTactile كمؤشر جديد يربط بين فيديو إغوجنتي وإشراف كامل على ضغط اليد للأجسام اليومية.

يُثري هذا النظام بمجموعات بيانات وخوارزميات متطورة بما في ذلك نظام التباين EgoPressureDiff الذي يعتمد على إطار عمل الشفافية الشرطية، مما يسمح للبنية المستندة إلى فيديو كبير الحجم بالتكيف مع القيود. يدمج هذا النهج بين المعرفة العالمية وتقييد السمات المعتمدة على الفيزياء، مما يمكنه من استنتاج أنماط الاتصال المحتملة وحل الغموض البصري والفيزيائي بشكل فعال.

تظهر التجارب الواسعة أن هذا الأسلوب ليس فقط متفوقاً من حيث الأداء على المؤشر، بل يقدم أيضًا قدرة نقل قوية لتطبيقات الحياة الواقعية. تعد هذه النتائج بمثابة خطوة مهمة نحو تحسين تفاعل الروبوتات مع العالم المحيط بهم، مما يجعلها أكثر كفاءة في المهام اليومية. لمزيد من المعلومات، يمكن الاطلاع على صفحة المشروع.