في عالم الذكاء الاصطناعي الحديث، تظهر نماذج اللغة الكبيرة متعددة الأنماط (Multimodal Large Language Models) كحلول مذهلة قادرة على معالجة المعلومات السمعية والبصرية في آن واحد. لكن كيف تسير هذه المعلومات عبر الشبكة لتشكل إجابة نهائية؟

تعكس الدراسة الجديدة التي تم نشرها تفاصيل هذا الامتياز، حيث تكشف عن كيفية تدفق البيانات السمعية والبصرية داخل نماذج اللغة الكبيرة السمعية البصرية (Audio-Visual Large Language Models - AVLLMs). من خلال تتبع مسارات المعلومات، تظهر الدراسة كيف تقوم AVLLMs بتوجيه واستخدام ودمج المعلومات السمعية والبصرية سواء في إعدادات الفيديو السمعي البصري أو في العناصر السمعية البصرية المتداخلة.

أحد الاكتشافات المثيرة هو أن AVLLMs تتبع مسار تدفق المعلومات التسلسلي المعهود لنماذج اللغة البصرية (Visual Language Models - VLMs) وVideoLLMs، حيث يتدفق كل من الصوت والصورة وفقًا لمدى اعتماد المهمة على كل نمط. وفي الحالات التي تحتوي على عناصر سمعية بصرية متداخلة، يتحول هذا التوجيه إلى تدفقات متوازية مختلفة.

ولإضافة المزيد من الدقة إلى الأداء، تظهر النتائج أيضًا أنه يمكن تجاهل بعض أنواع التوكنات السمعية والبصرية بمجرد نقل معلوماتها إلى نموذج اللغة، دون تأثير كبير على التوقعات، بل ربما يؤدي إلى تحسين طفيف. هذه النتائج تنطبق على عدة نماذج وأحجام مختلفة، مثل Qwen2.5-Omni وVideo-SALMONN2 Plus، مما يمهد الطريق لفهم أعمق للأسباب وراء ظهور هذه الهياكل.

تؤكد هذه النتائج على أهمية استكشاف كيفية تنسيق الصوت والصورة داخل الشبكة، مما يفتح آفاقًا جديدة في تحسين تفسيرات النموذج وتصميمه وكفاءته في المستقبل.