في إنجاز متميز، قدم فريقنا نظام ذكاء اصطناعي متطور للتعرّف على الصوت متعدد اللغات (omnilingual ASR) ضمن تحدي MLCSLM الثاني. يعتمد النظام على تقنية متطورة تتضمن تحليل محادثات متعددة، حيث يجمع بين تقسيم المحادثات وتخزين البيانات من خلال نموذج التعرّف على الصوت معزّز بـ DiariZen-Large-s80 (WavLM-Large).

الفكرة الأساسية للنظام هي استخدام تقسيم متسلسل: أولا يتم تقسيم الفيديو إلى مقاطع معالجة، تليها عملية التعرف على الكلمات. يتم تطبيق خوارزمية CAM++ المبتكرة لتجميع المتحدثين خلال المحادثة الاتجاهية، مما يمكن النظام من التعرف على صوتين مختلفين في ذات الوقت.

وتجدر الإشارة إلى أنه لم يتم استخدام أي تسميات مسبقة للمتحدثين أو تقسيمات مثالية أثناء الاختبار، مما يبرز قوة وكفاءة النظام. في المجموعة التجريبية الرسمية التي شملت 150 محادثة عبر 21 لغة ولهجة مختلفة، حقّق النظام معدل tcpMER بنسبة 29.27%، مقارنة بالمعدلات القياسية التي بلغت 79.15%. وفي مجموعة التقييم، حصل على 50.23%.

من خلال تحليل العوامل الهندسية الأساسية، تبين أن تجميع المتحدثين القائم على التخزين تفوّق على الأسلوب التقليدي الذي يعتمد فقط على علامات التحويل الخاصة بـ ASR. كما أن تقنية تقسيم الازدحام، على الرغم من أنها تهدف إلى تحسين تذكر المتحدثين، قد زادت من tcpMER بسبب تكرار التدوين لكلمات المتحدثين في حالة وجود تداخل.

إن هذه التجربة تعكس التطور المستمر في مجال الذكاء الاصطناعي وتفتح آفاقًا جديدة لتعزيز تجربة المستخدم في تطبيقات التعرّف على الصوت.

هل تعتقد أن هذه التقنيات ستحدث ثورة في كيفية تفاعلنا مع الآلات؟ شاركونا آراءكم في التعليقات.