تعتبر لغات الإشارة وسيلة حيوية للتواصل للأشخاص ذوي الإعاقة السمعية، ولكن الموارد المتاحة للتعرف على أكثر من 100 لغة إشارة مختلفة تظل محدودة للغاية. لذلك، نأتيكم اليوم بأحدث إنجازاتنا في هذا المجال والتي تعتمد على أسلوب التعلم بالنقل وتقنية التكيف داخل النطاق (Domain Adaptation) المعروفة بـ TA3N.

تضمنت دراستنا استخدام وحدة الشبكة الزمنية العلائقية (Temporal Relational Network - TRN) لملاءمة العلاقات الزمنية متعددة المقاييس، مما أظهر تفوقًا ملحوظًا لطريقة التكيف داخل النطاق بالمقارنة مع التعلم بالنقل القائم على الشبكات العصبية.

حققنا تقدمًا كبيرًا في تحسين التعرف على لغة الإشارة الأمريكية (American Sign Language - ASL) من خلال استخدام ميزات زمنية قصيرة المدى بين مصادر البيانات المختلفة. بالإضافة إلى ذلك، قمنا بتجارب باستخدام وضع تدفق الضوء (Optical Flow) لعينات لغة الإشارة، وخلصنا إلى أن وضع RGB يتفوق عادة في الأداء على تدفق الضوء.

يهدف بحثنا إلى تعزيز إمكانية الوصول والتواصل للأشخاص الذين يعتمدون على لغة الإشارة كوسيلة تواصلهم الأساسية، مما يتيح لهم التفاعل بحرية أكبر في مجتمعهم.