تقدم تقنية الواقع الممتد (Extended Reality - XR) تحدياً استثنائياً لشبكات الاتصالات الحديثة مثل 5G و6G، حيث تتطلب هذه التقنية معدلات بيانات عالية وشفافية في التواصل لتوفير تجربة غامرة حقاً. من أجل نقل الإجراءات الفيزيائية بسلاسة إلى العالم الافتراضي، نحتاج إلى دقة عالية في التعرف على الإيماءات وتقدير الوضعية.

تظهر الحلول الحالية للتفاعل في واقع XR، المعتمدة على أجهزة التحكم المحمولة والكاميرات، قيوداً كبيرة حيث لا يمكنها التقاط الأوضاع الجسدية بشكل كامل، مما يقيد حرية استخدام اليدين ويتطلب رؤية واضحة.

لذلك، نقدم في هذا البحث بنية استشعار متعددة الوسائط لواقع XR تجمع بين الإشارات الحسية لشبكة 5G بتكنولوجيا الموجات الملليمترية (mmWave) وتقنيات التخطيط العضلي السطحي (sEMG). تمتاز هذه التقنية بأنها لا تقدم محتوى رقمي فقط إلى النظارات المعززة (Head-mounted display - HMD)، بل تستخدم نفس إشارات الاتصال لاستنتاج الإيماءات الجسدية ووضعيات المستخدم بشكل فوري، مما يدعم السيطرة على الأفاتار في الزمن الحقيقي.

لإدراك التفاصيل الدقيقة للإيماءات عند مستوى الأصابع، تعتمد بنيتنا على أجهزة استشعار خفيفة الوزن لاكتشاف نشاط العضلات في الساعد. لإيضاح أهمية كلا التقنيتين، نقدم تقييمات لكلا أسلوبي الاستشعار. تعتمد دقة التقنيات المعتمدة على مستويات الجسم (عبر 5G) على حساب القوة لكل زوج من الحزم (PPBP)، والتي يمكن أن تُحسب من إجراءات إدارة الحزم القياسية أو تقنيات المسح. أظهرت هذه التقنية دقة متوسطة تبلغ 82.2% عند تقييمها على مستخدمين لم يتم رؤيتهم أثناء التدريب.

وعن الإيماءات المفصلة عند مستوى الأصابع، فإن تقنية التخطيط العضلي السطحي (sEMG) تحمل معلومات تمييزية قوية، مما يحقق أداءً واعداً عبر إعدادات حركية مختلفة.

باختصار، يجمع دمج التقنيتين بين إدراك الإيماءات عبر مستويات متعددة، على مستويات الجسم باستخدام إشارات 5G الحالية، وعلى مستوى الأصابع بفضل أجهزة استشعار السطح العضلي الخفيفة، مما يشكل إطار عمل متكاملاً للواقع الممتد (XR).