تعتبر قدرة الروبوتات على القبض الأعمى (Blind Grasping) باستخدام أيدٍ مرنة من أهم الإنجازات في مجال الروبوتات الحديثة. ومع ذلك، يبقى التعلم القائم على الإشارات اللمسية فقط تحديًا كبيرًا، بسبب الفجوة بين المحاكاة والواقع (Sim-to-Real Gap) والقدرة المحدودة لإشارات اللمس المتناثرة.

لدعم تجاوز هذا التحدي، يطرح فريق من الباحثين إطار عمل مبتكر لتعلم سياسة القبض الأعمى بالاعتماد فقط على الإشارات اللمسية، والذي يمكن نشره على يد روبوتي متعددة الأصابع. يعتمد هذا النهج على ثلاثة مكونات رئيسية.

أولًا، تم تقديم عملية المعايرة (Calibration) المسماة Real2Sim التي تبني محاكيًا رقميًا قادرًا على استنساخ الإشارات اللمسية الحقيقية بدقة. ثانيًا، تم تحسين القدرة التعبيرية للإشارات اللمسية المتناثرة بواسطة مشفر موجه للهيكل الخارجي، والذي يعتمد على المعلومات الهندسية للحساسات من خلال التدريب الذاتي المسبق (Self-Supervised Pretraining). ثالثًا، لتحسين القدرة على التعميم على الأجسام التي لم تُرَ سابقًا، يتم تدريب خبراء تعلم التعزيز (Reinforcement Learning) المحددة بالأهداف في المحاكي المعاير، وتجميع المسارات الناجحة للقبض في سياسة مشروطة باللمس تعتمد على تقنية التشتت (Diffusion Policy).

قامت التجارب باستخدام يد LEAP الروبوتية، المجهزة بوسائل استشعار لمسية موزعة عبر عشرين جسمًا، ما بين 10 رأيناها و10 لم نرها. وقد حققت السياسة المعتمدة معدل نجاح يصل إلى 27% في عالم الواقع، دون الحاجة إلى تجارب القبض المرئية أو مدخلات بصرية.

تُظهر النتائج أن تحسين المعايرة، وتعلم تمثيل اللمس المعتمد على الهندسة، وتجميع السياسات القائمة على التشتت توفر مسارًا فعالًا نحو تحقيق القبض الأعمى فقط باستخدام الإشارات اللمسية على الأيدي الروبوتية المرنة الحقيقية. لمزيد من المعلومات حول هذا المشروع، يمكن زيارة صفحة المشروع: Dex-Blind-Grasp.github.io.