اكتشاف جديد: كيف يسهم الصوت في تحديد نهاية التحدث في الذكاء الاصطناعي?

تعد القدرة على كشف نهاية حديث المتحدث عنصرًا حاسمًا في تكنولوجيا الذكاء الاصطناعي المخصصة لتفاعلات المحادثة. في دراسات سابقة، تم دمج العناصر الدلالية (semantics) مع الميزات الصوتية لتحديد لحظات التوقف في الحديث. ومع ذلك، لا تزال الإسهامات النسبية لأنماط الإشارات الصوتية والغنائية (prosodic signals) غير واضحة.

في تجربة حديثة، تم تقديم تصنيف ثلاثي الوسائط (trimodal classifier) خفيف الوزن لتحليل تأثير الإشارات الصوتية ونغمة الصوت على الكشف السريع عن نهاية المحادثة. ونتيجة لشروط التدريب المتطابقة، أظهرت الابتكارات الجديدة أن الجمع بين الإشارات الصوتية والنغمة حقق أفضل توازن بين الدقة والوقت المستغرق، حيث حصل على معدل 0.93 في تقييم F1 مع نسبة إنذارات خاطئة تبلغ 7.8% في وقت استجابة وسطي بلغ 400 مللي ثانية.

أظهرت الإضافة النصية زيادة في العمليات المبكرة دون أي تحسين في الأداء. كما أكدت تحليلات فضاء الميزات أن الخصائص النغمية تتمتع بأفضل قدرة على تمييز الفئات، بينما كانت تمثيلات النص تتداخل بشكل كبير. تشير هذه النتائج إلى أن أهمية تنسيق الحديث تعتمد بشكل أساسي على أنماط النغمة والصمت، بدلاً من الاعتماد على اكتمال المعنى، مما يمكنك من تطوير أنظمة أكثر سرعة وموثوقية دون الحاجة إلى إنفاق التكاليف العالية في تحليل النصوص.