تواجه نماذج الرؤية-اللغة (Vision-Language Models) تحديات كبيرة بسبب التكاليف الحسابية المرتفعة الناتجة عن تسلسلات الرموز البصرية الضخمة أثناء عمليات الاستدلال. ولقد كانت الأساليب الحالية في تقليل الرموز البصرية تُخفف من هذه الأعباء، لكنها كانت تفشل في استكشاف العلاقات السياقية بين الموضوعات المهمة وتصرفها بمساءلة تامة مع استعلامات المستخدم.

في هذا السياق، قدّم الباحثون نموذج SPpruner، الذي يمثل نموذجًا مبتكرًا يقوم على تقليص رموز الرؤية بشكل تدريجي مع التركيز على الموضوعات. استوحى هذا النموذج من آلية "التركيز ثم السياق" التي تستخدمها قدرات الإدراك البصري لدى البشر.

يبدأ SPpruner، أولاً، بنموذج لتحديد التركيز يقوم بنمذجة التفاعل بين الظهور البصري (Visual Saliency) والأهمية الدلالية (Semantic Relevance). هذا النموذج قادر على استخراج طيف شامل من الموضوعات البصرية لضمان تمثيل دقيق وعالي الجودة للمدخلات البصرية.

ثم يتم تطوير وحدة مسح هيكلية مدركة للسياق، والتي تجمع الإشارات السياقية من المناطق المجاورة. من خلال هذه الآلية، يمكن للنموذج إعادة بناء التبعية العالمية بين الموضوعات مع الحفاظ على تكاملها الهيكلي.

تظهر التجارب الشاملة أن نموذج SPpruner يتفوق باستمرار على الطرق الحديثة (State-of-the-Art)، حيث حقق زيادة في السرعة تصل إلى 2.53 مرة مع الاحتفاظ فقط بـ 22.2% من الرموز البصرية في الإصدارة Qwen2.5-VL، وتقليل بنسبة 67% في FLOPs مع انخفاض طفيف في الدقة بنسبة 0.6% على نموذج LLaVA.

هل تعتقد أن هذه التطورات ستحدث ثورة في مجال الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!