المخاطر الخفية في النماذج الصوتية اللغوية: كيف تؤثر الترددات المنخفضة على دقة الأداء

في عالم الذكاء الاصطناعي، تزداد أهمية النماذج الصوتية اللغوية الكبيرة (Large Audio-Language Models) بشكل ملحوظ، إذ أثبتت هذه النماذج كفاءتها في فهم مجموعة واسعة من المدخلات الصوتية. ومع ذلك، تظل بعض الأبعاد هذه النماذج غير مستكشفة تماماً، وخاصة في ما يتعلق بالإشارات الصوتية التي يكون ترددها منخفضاً لدرجة أنها لا تُسمع من قبل البشر، لكنها قادرة على التأثير على مخرجات النموذج.

في ورقة بحثية حديثة، تم اقتراح تقنية جديدة تُعرف باسم "الإغلاق المتقطع للترددات المنخفضة" (Intermittent Low-Frequency Lockout - ILL) لتقييم هذا الخطر، بواسطة استخدام قالب موجي عالمي في بيئة مغلقة. وتعتمد هذه الطريقة على "تقدير نطاق الانتباه للجمل" لتحديد الفترات النشطة و"نقل التشويش الترددي" لإنشاء موجة صوتية منخفضة التردد مع مرحلة مستمرة من اختلاف الطيف الكوراني.

للتخفيف من هذه المخاطر، تم اقتراح "حماية إعادة الاستعلام التوزيعية" (Distributional Requery Guard - DRG) للكشف عن تغييرات توزيع الترددات المنخفضة وطلب تسجيل ثانٍ لاستعادة المعنى. أظهرت التجارب عبر ستة من النماذج الصوتية اللغوية والعديد من مهام فهم الصوت، أن ILL قد يقلل الدقة حتى 67 نقطة مئوية، في حين سجلت تقييمات بشرية لمستوى السمع قيمة 1.33، وهي قريبة من 1.17 للصوت النقي.

وفي المقابل، أدت DRG إلى رفع متوسط التقييم الدقيق من 28.5 ٪ إلى 46.1 ٪ بعد إعادة الاستحواذ على الصوت النقي. هذه النتائج تسلط الضوء على خطر أمان تم تجاهله سابقاً بالنسبة للنماذج الصوتية اللغوية الكبيرة وتوفر أساسًا للبحوث المستقبلية حول تعزيز فهم الصوت وتوطين المخاطر الكامنة.