في خطوة مبتكرة نحو تعزيز التواصل بلغة الإشارة، تقدم دراسة جديدة نظام NEST-V1، والذي يعد بمثابة إطار عمل متعدد الوسائط يمكنه تحويل الكلمات المنطوقة إلى رموز لغة الإشارة النيبالية مع دمج التعبيرات العاطفية. تعتبر نظم التواصل بلغة الإشارة المدمجة بالتعبير العاطفي مجالات تحظى بقليل من الاستكشاف، لا سيما لغات الموارد المنخفضة مثل النيبالية.

تُركز هذه الدراسة الرائدة على كلمات نيبالية شائعة، مثل "شكراً" و"مرحبا" و"منزل" و"أنا"، وذلك عبر ثلاث حالات عاطفية مختلفة: السعادة والحياد والحزن. أظهرت النتائج الأولية أن النظام يمكنه التعرف بدقة على الكلام بنسبة 81.1%، بالإضافة إلى 79.21% في تصنيف المشاعر، من خلال تحليل بيانات مكونة من 600 عينة صوتية موضوعة من 50 متحدثاً.

ما يميز هذا النظام هو هيكله الخفيف، حيث يستخدم مُشفر صوتي مشترك لتحقيق التعرف التلقائي على الكلام (Automatic Speech Recognition) وتصنيف المشاعر في وقت واحد، مما يُظهر كفاءة قدرها 37% في استخدام المعاملات مقارنة بالهياكل النماذج المنفصلة، مع الحفاظ على بصمة خفيفة باتباع 22.1 مليون معامل فقط.

تُقيم هذه الدراسة الأسس التقنية لترجمة لغة الإشارة المُعبرة عن المشاعر في البيئة المنخفضة الموارد، مما يعطي أملاً لجعل نظم التواصل العاطفية بلغة الإشارة أكثر قابلية للتنفيذ والفعالية، وخاصة لأفراد المجتمع الصم. كما تشير النتائج الأولية إلى إمكانية تحقيق التواصل بلغة الإشارة المعبرة عن المشاعر في الزمن الحقيقي، مع وجود مسارات واضحة لتحسين النظام في مراحل التطوير المستقبلية.