تعتبر بيانات الإحساس بالملمس أهمية كبيرة لفهم التفاعلات الفيزيائية وتمكين المناورات الروبوتية الدقيقة، لكن جمع البيانات المطلوبة يعتبر تحديًا، حيث تحتاج تقنية الإحساس بالملمس إلى قياسات مباشرة. هنا تأتي ابتكارات تقنية TouchSight التي تستخدم إطار عمل رؤية أحادية الذات للتنبؤ بالقوى المَلَمسية الكثيفة باستخدام 500 ساعة من تسجيلات قفازات الضغط وبيانات تفاعل اليد مع الأجسام.

للتخفيف من الفجوة بين بيانات التدريب باستخدام القفازات وواقع اليد العارية، تم تطوير نموذج TwinTouch-20H، الذي ينتج 20 ساعة من بيانات بصرية مقترنة، حيث يقوم النماذج المولدة بإعادة تقديم التسجيلات المحمية كأنها تُظهر اليد بدون قفاز ضد خلفيات جديدة بينما تحافظ على التسميات المَلَمسية الأصلية.

تقوم TouchSight بتقديم تنبؤات دقيقة لقوى الملمس من فيديوهات اليد المجهزة بالقفازات وأيضًا من الفيديوهات المولدة ليدين عاريتين، متفوقة على الطرق السابقة في التنبؤ على مجموعة بيانات OakInk2. كما تُظهر النتائج التحسن المتسق مع زيادة إشراف القفازات.

تثبت نتائج البحث أن الإشارات المَلَمسية الكثيفة يمكن استردادها من خلال رؤية ذاتية فقط، دون الحاجة إلى أدوات القياس عند وقت التسجيل. هذه التقنية تمثل خطوة هائلة نحو تحسين إدارة الروبوتات وتفاعلاتها مع بيئتها.