الشعور بالتجاهل: كيفية معالجة أخطاء فهم النماذج اللغوية الصوتية والتعبيرية

إن الكلام البشري يعد من الآلات القوية للتعبير، حيث تحمل النغمة (Prosody) معلومات لغوية وعاطفية تتجاوز المحتوى اللفظي. يجب أن يدعم النماذج اللغوية الصوتية الضخمة (Large Audio-Language Models) الفهم التعبيري للكلام، مما يعني أنها لا تقتصر على نسخ الكلمات بل تُعنى أيضاً بفهم كيفية صياغتها. ومع ذلك، تعتمد التقييمات السلوكية وحدها على تحديد أسباب فشل النموذج في التعامل مع المدخلات النغمة. يمكن أن يعكس الخطأ في الأداء فقدان المعلومات الصوتية، أو تفسيرًا داخليًا خاطئًا، أو فشلًا في استخدام تمثيل متاح بالفعل داخل النموذج. في هذا المقال، نقدم مقياسًا خاصًا لتحديد مواقع الفشل في النماذج اللغوية الصوتية.

من خلال اختباراتنا على أربعة نماذج لغوية صوتية تركز على الفهم، نجد أن المعلومات النغمة عادة ما تبقى محفوظة في مسار الصوت، ويمكن فك شفرتها في حالات متأخرة من النموذج. ومع ذلك، فإن التعبير عنها بشكل كامل في استجابة النموذج النهائية يتطلب المزيد من العمل. نقوم باختبار الوضع السببي لهذا التمثيل الكامن من خلال تدخلات مستهدفة في الحالات الخفية للنموذج. تظهر كل تدخلات أنها تحول توزيع الإجابات نحو الاتجاه المتوقع، وفي معظم خلايا النموذج-المهمة، يعد تعديل واحد في الطبقة المعنية كافيًا لدفع النموذج نحو القرار النغمي المكبوت، على الرغم من أن هذا الانتعاش يكون اتجاهياً بدلاً من استعادة انتقائية للفئة الصحيحة. تشير التحليلات على مستوى الميزات إلى أن هذا الإشارة القابلة للاستعادة يمكن التعبير عنها من خلال فضاء صغري. يتوافق بعض الميزات ذات النسبة العالية في هذا التحليل مع المؤشرات الصوتية المعروفة لحمل المعلومات النغمي.

في المحصلة، المشاكل المتكررة لا تكمن في إدراك النغمة، بل في استخدامها. النماذج التي تستمع وتمثل إشارة نغمة بشكل صحيح قد تفشل في التعبير عنها في إجاباتها. إذاً، كيف يمكن للنماذج اللغوية الصوتية تحسين أدائها في تجسيد النغمة؟