في عالم التكنولوجيا المتقدمة، حققت نماذج اللغات متعددة الوسائط (Multimodal Large Language Models - MLLMs) إنجازات مذهلة في الأداء في مجالات رؤية اللغة. ومع ذلك، لا تزال الصعوبات تواجه الطريقة التي يتم بها فحص الأدلة البصرية على مستوى الرموز. حتى الآن، كانت الطرق التقليدية لاستدلال الأدلة البصرية، مثل طرق "logit-lens"، تعمل على إسقاط كل حالة مخفية للرموز البصرية في مجال المفردات لشرح الكلمات الناتجة. ولكن، تظهر مشكلة كبيرة هنا: حيث يتم خلط الرموز البصرية من قبل النموذج، بينما يُفك الشيفرة الاستدلالية بشكل مستقل في كل موقع من سياق الرموز.

من هنا، تظهر الحاجة لإطار أكثر كفاءة ونوعاً جديدًا من الاستدلال. ولذلك، نقدم إطار عمل جديد يدعي "إعادة تركيب الأدلة (Evidence Recomposition - ER)" و"استبقاء سياق التنبؤ (Predictive Context Residualization - PCR)"، والذي يشكل جوهر إطار ERCR.

تقوم تقنية ER بتجميع الأدلة المستهدفة عبر وجهات نظر متعددة مع تعيينات مختلفة من الرموز إلى المناطق، مما يقلل من تشظي الاستدلال الناتج عن شبكة إعادة القراءة الفردية. بفضل PCR، يمكن تقدير خريطة سياقة الرموز السابقة باستخدام علاقة رتبة مبنية على RBO، مما يسمح بطرح مكونها المناسب من خريطة ER للتقليل من تأثير تداخل السياق الرمزي.

أثبتت التجارب مع عائلات LLaVA وQwen2-VL وInternVL عبر منصات مثل COCO Caption وGranDf وOpenPSG تحسناً ملحوظاً في جودة الأدلة البصرية للرموز المستهدفة، مع تقليل تأثير رموز النصوص السابقة. وفي إطار الاختبار على Qwen2-VL-2B، تحسنت قيم F1-IoU من 39.10 إلى 44.45 على COCO Caption ومن 30.83 إلى 37.20 على GranDf.

بشكل عام، يوفر إطار العمل الجديد ERCR تحسيناً عملياً لتفتيش الأدلة البصرية على مستوى الرموز. مع هذه الابتكارات، هل تظنون أن هذا التطور يمكن أن يقودنا نحو فهم أعمق للتفاعل بين النصوص والصور في المستقبل؟