مع تزايد استخدام نماذج اللغات الكبيرة (Large Language Models) في تطبيقات الصوت، تزايدت المخاوف حول تعرض هذه الأنظمة للهجمات الصوتية العدائية. تتبع هذه الأنظمة عادة نموذجين معماريين أساسيين: النماذج المتسلسلة، حيث تقوم تقنية التعرف التلقائي على الكلام بتحويل المدخلات الصوتية إلى نص قبل معالجة نموذج اللغة الكبيرة، والنماذج الصوتية المعمارية الشاملة (Large Audio-Language Models)، التي تفسر بشكل مباشر إشارات الصوت الخام.

تعتبر النماذج المتسلسلة عرضة بالدرجة الأولى لاستراتيجيات تفكيك السجون على مستوى النص من خلال الكلام، بينما تعكس نماذج الصوت الشاملة نقاط ضعف إضافية في الهجمات الصوتية السيمانتية. على الرغم من ذلك، غالبًا ما تركز الدراسات الحالية على نموذج واحد وتوفر تغطية محدودة لمجال الهجمات الصوتية الأوسع.

لجسر هذه الفجوة، نقدم إطار هجوم تكيّفي يقيم بشكل منسق كل من النماذج المتسلسلة والنماذج الشاملة تحت إعدادات تجريبية موحدة. يعتمد هذا الإطار على محرك طفرات مُوجّه بتغذية راجعة لتوليد وتصحيح نماذج الهجوم بشكل تلقائي عبر كل من المطالبات النصية والاضطرابات الصوتية، مما يزيد من تنوع الهجمات ونطاقها.

تُظهر التجارب التي أجريت على ستة أنظمة صوتية ممثلة أن كلا النموذجين لا يزالان عرضة بشكل كبير لهجمات السجون الصوتية. بالمقارنة مع الأساليب الحديثة، حقق إطارنا معدلات نجاح أعلى بشكل مستمر على أنظمة اللغات الكبيرة المعتمدة على الصوت.

إن هذه التطورات تثير قلقًا كبيرًا حول كيفية استخدام هذه الأنظمة في المستقبل، ومدى الحاجة إلى تحسين الأساليب الأمنية لحماية التطبيقات الصوتية من الهجمات المتزايدة.