في عالم الذكاء الاصطناعي، يشكل الصوت وسيلة تفاعلية بامتياز، لكن للأسف، أغلب نماذج اللغة الصوتية الكبرى (Large Audio Language Models) اليوم تعمل بشكل غير متصل بالإنترنت وتقوم بمهمة واحدة فقط، سواء كانت التعرف على الصوت أو محادثة صوتية. لذلك، حان الوقت لدمج هذه النماذج في نموذج واحد متصل بالإنترنت: نموذج التفاعل الصوتي.

يعمل نموذج التفاعل الصوتي من خلال حلقة مستمرة للتفاعل (perceive-decide-respond) تستمع إلى الأصوات والبيئة والتعليمات في الوقت الحقيقي، مما يسمح له بالتفاعل بشكل فوري. تمثل هذه العملية قفزة نوعية في طريقة تصميم نماذج التفاعل الصوتي، والتي يتم تجسيدها في نموذج Audio-Interaction الموحد، القادر على تنفيذ المهام التقليدية مع إمكانية استقبال التعليمات الصوتية العامة.

ما يساعد على تحقيق هذه التحسينات هو منصة SoundFlow، التي تُنشئ حلقة التفاعل من بداية البيانات حتى التدريب والنشر، مما يضمن استجابة سريعة وفعالة في الوقت الحقيقي. تُعد مجموعة بيانات StreamAudio-2M، التي تحتوي على 2.6 مليون عنصر لتغطية سبع مهارات أساسية و28 مهمة فرعية، خطوة هامة نحو تطوير هذا النظام.

وعلاوة على ذلك، فإن Benchmark Proactive-Sound يُعزز من تقييم عملية التدخل الصوتي الاستباقي. وعند قياس الأداء عبر ثمانية معايير، يُظهر Audio-Interaction أداءً تنافسياً في المهام الصوتية التقليدية، بينما يفتح آفاقاً جديدة من القدرات، مثل التعرف على الصوت في الوقت الحقيقي، واستقبال التعليمات الصوتية المتدفقة، والتقدم في المساعدة التي يوفرها.

فهل أنتم مستعدون لتجربة هذه التقنية الجديدة؟ ما رأيكم في مستقبل تفاعل الذكاء الاصطناعي مع الصوت؟ شاركونا في التعليقات!