في عالم الذكاء الاصطناعي، نجد أن النماذج الكبيرة للرؤية واللغة (Large Vision-Language Models) تستهلك كمية كبيرة من الموارد نظرًا للاعتماد على مدخلات عالية الدقة تؤدي إلى إدخال آلاف الرموز البصرية. ولكن، ما قد يبدو لكثره مفيدًا قد يتحول أحيانًا إلى عبء، حيث إن العديد من تلك الرموز قد تكون زائدة عن حاجة الاستفسار.

تقنيات التقليم الحالية تمزج عادة بين ملاءمة الاستفسار وتنوع الرموز، إلا أن هذه الأهداف قد تتعارض خلال عمليات الضغط المكثف. حيث يمكن لاختيار الرموز المعتمدة على الملاءمة أن يركز الميزانية على الأدلة المحلية المتكررة، بينما قد يعوق اختيار الرموز المعتمد على التنوع العناصر الأساسية.

وهنا يأتي دور AnchorPrune، الإطار الذي لا يحتاج إلى تدريب مسبق، والذي يقوم أولاً ببناء نقطة ملاءمة محمية ثم يوسع نطاقها باستخدام سياق بصري مكمل. يعمل AnchorPrune على تحديد حجم النقطة المحمولة بناءً على ملف تعريف التميز للرموز المصنفة حسب الملاءمة، مما يحافظ على مجموعة مضغوطة من الأدلة الحيوية للاستفسار.

ومع استخدام ميزانية متبقية مستندة إلى وزن الأهمية، فإن هذا النظام يستعيد سياقًا مفيدًا وغير زائد بالمقارنة مع النقطة المحمولة. تصميمه المنظم يمنع توسيع السياق من إزاحة الإشارات الأساسية للاستفسار، بينما يعزز التغطية البصرية الشاملة.

تُظهر النتائج أن AnchorPrune، الذي يعد خفيف الوزن وواعٍ للهندسة، لا يتطلب إعادة تدريب أو تعديل النموذج. حيث أنّه على نماذج ورموز الرؤية واللغة، يُحسّن بشكل متسق من كفاءة الدقة، خاصةً في ظل الضغط الشديد. على سبيل المثال، في نموذج LLaVA-NeXT-7B، يحافظ AnchorPrune على 97.6% من أداء الرموز الكاملة باستخدام فقط 160 من أصل 2880 رمزًا بصريًا.

تشير هذه النتائج إلى أن توسيع السياق المعزز بالملاءمة يُعد مبدأً فعالاً لتحسين الاستدلال متعدد الأنماط. للحصول على الشفرة، يمكنكم زيارة رابط المشروع على GitHub. ما رأيكم في هذه التقنية الجديدة؟ شاركونا آراءكم في التعليقات.