تُعتبر نماذج اللغة الصوتية الكبيرة (Large Audio Language Models - LALMs) رائدة في مجالات التعرف على الكلام والمهام الصوتية الأخرى، ولكن الجانب المظلم في هذا الابتكار هو أن وحدات الترميز الصوتية فيها تولد تسلسلات رموز بمعدل مرتفع جداً (مثل 25 رمزاً في الثانية). هذا الأمر يجعل حسابات الانتباه (Attention Computation) مكلفة ويحد من إمكانية توسيع التطبيق.

في بحث معنون "نحو ضغط الرموز الصوتية في نماذج اللغة الصوتية الكبيرة"، تم استكشاف تقنيات جديدة مثل التقسيم غير المراقب (Unsupervised Segmentation) والتجمع المتوسط الموحد (Uniform Average Pooling) لتقليل عدد الرموز الصوتية قبل استهلاكها من قبل وحدات فك التشفير الخاصة بنماذج LLM.

للتغلب على أي تدهور محتمل في الأداء، تم استخدام محولات منخفضة الرتبة (Low-Rank Adapters) خلال عمليات ضبط النموذج (Fine-tuning). تم تقييم النماذج المقترحة على مهمتين مختلفتين، وهما التعرف الآلي على الكلام وترجمة الكلام إلى كلام، حيث تعتمد كل واحدة منهما على اكتشاف المحتوى اللفظي الأساسي للإشارة المدخلة.

توفر النتائج التجريبية دليلاً قوياً على أن نماذج LALMs المضغوطة يمكن أن تحقق أداءً قريبًا من نماذج LALMs ذات مستوى الإطار، بينما تقلل عدد الرموز الصوتية المدخلة حتى ثلاث مرات قبل الانطلاق في قلب نموذج LLM. هذه التطورات تبشر بإمكانيات هائلة في استخدام الذكاء الاصطناعي في التطبيقات الصوتية في المستقبل.