في عالم الذكاء الاصطناعي، تعتبر نماذج اللغة المرئية (Vision-Language Models) من الابتكارات الرائدة، حيث تقوم بتحويل الصور إلى مئات الرموز البصرية، مما يزيد من عبء الذاكرة وتأخير استنتاج النتائج. ولقد ابتكرت مجموعة من الباحثين E2S-Pruner، وهو إطار عمل متقدم يعتمد على دمج الأدلة عبر مرحلتين لتحسين عملية تقليص الرموز البصرية.

تستند طريقة E2S-Pruner إلى مرحلتين رئيسيتين. في المرحلة الأولى، يتم اعتبار كل رأس من رؤوس الانتباه كمصدر مستقل للأدلة، حيث يتم تقييم موثوقيتها بناءً على وضوح الأدلة والتوافق بين الرؤوس. ثم يتم تصنيف كل رمز بصري إلى واحدة من ثلاث حالات: مهم، غير مهم، وغير مؤكد.

وفي المرحلة الثانية، تُستخدم نظرية الأدلة ديمبستر-شافر (Dempster-Shafer Evidence Theory) لقياس التعارض بين الطبقات ودمج الأدلة التكميلية من الطبقات المختلفة، مما يسهم في تحقيق نتائج أفضل. كما أن النظام الجديد يقدم قيدًا جديدًا للابتكار المكاني، مما يعزز من تغطية المناطق الفريدة في الصورة ويمنع تركيز الرموز المحتفظ بها في مناطق معينة.

عند تطبيق E2S-Pruner على نموذج LLaVA-1.5-7B، أظهرت النتائج احتفاظه بنسبة 98.0%، 96.8% و90.6% من الأداء العام مع متوسط عدد الرموز المحتفظ بها 192، 128، و64 على التوالي. كما زاد الإنتاجية بمعدلات 1.96x و2.09x عند الإعدادات الخاصة بـ 128 و64 رمزًا على التوالي. وأظهرت التجارب على نموذج Qwen2-VL-7B أيضًا عموميات عبر النماذج المختلفة، مما يعزز من تطبيقات هذه التقنية عبر مجموعة متنوعة من النماذج المرئية اللغوية.

للاستزادة، يمكنكم زيارة GitHub للحصول على كود النموذج.

ما رأيكم في هذا الابتكار الجديد؟ هل تعتقدون أنه سيحدث ثورة في النماذج المرئية اللغوية؟ شاركونا أفكاركم في التعليقات!