صوت الغياب: نماذج تضمين الصوت واللغة تكافح مع النفي

تعتبر نماذج تضمين الصوت واللغة (Audio-Language Embedding Models) مثل نموذج CLAP من أبرز التقنيات المستخدمة في تقييم الأحداث الصوتية الماثلة، إلا أن هذه النماذج تعاني من نقطة ضعف رئيسية عند التعامل مع مفهوم النفي. ففي الوقت الذي يتم فيه تقييم هذه النماذج بشكل كبير على أساس التحقق من الأحداث الصوتية الموجودة، نادراً ما يتم اختبار قدراتها على التعامل مع النفي.

أجرا الباحثون دراسة جديدة أظهرت أن هذه النماذج تفشل في ترميز المفاهيم الصوتية المنفية، حيث يتم ربط العناوين التأكيدية والمنفية تقريبا بنفس التمثيلات، مما يدل على وجود عطل يؤثر على دقتها. ولتسليط الضوء على هذه المشكلة، تم تقديم إطار العمل "NegEval-Audio" الذي يقوم بتحويل مجموعات البيانات الحالية إلى مهام تدرك النفي، مثل استرجاع النفي (Retrieval-Neg) واختبار الاختيار المتعدد للنفي (Multiple-Choice Negation - MCQ-Neg).

عند تطبيق هذا الإطار على مجموعتي بيانات AudioCaps و Clotho، وُجد أن الأداء يتراجع بشكل حاد عند معالجة حالات النفي، حيث انخفضت دقة الاختيار المتعدد بشكل كبير عن الاحتمالات العشوائية. كما استمرت هذه الفشل حتى مع نموذج شامل يعتمد على نماذج لغوية متعددة الوسائط (Multimodal LLM). ورغم أن طريقة توجيه بدون تدريب أثبتت بعض التحسينات في MCQ-Neg، إلا أن النتائج كانت محدودة بالنسبة لاسترجاع النفي.

تظهر هذه النتائج بوضوح أن تحيز التأكيد يعد عيباً أساسياً في هندسة التمثيل لهذه النماذج، مما يستدعي الحاجة لتطوير أهداف تدريب واضحة تدرك النفي. إن معالجة هذه الفجوة قد تفتح آفاقاً جديدة في تحسين أداء نماذج تضمين الصوت واللغة في المستقبل.