VIB-Probe: الكشف عن الأخطاء وإصلاحها في نماذج الرؤية واللغة بفضل نظرية المعلومات المتغيرة

تستمر نماذج الرؤية واللغة (Vision-Language Models) في تحقيق تقدم ملحوظ في المهام متعددة الوسائط، لكن تبقى عرضة لما يُعرف بالأخطاء (Hallucinations) حيث ينحرف النص المُنتَج عن المحتوى البصري الأساسي. في الوقت الحالي، تعتمد طرق الكشف عن الأخطاء الموجودة بشكل رئيسي على الوسائط الناتجة أو أدوات التحقق الخارجية، وغالباً ما تتجاهل الآليات الداخلية لهذه النماذج. في هذا الإطار، يتم تقديم VIB-Probe، والذي يمثل حلاً جديداً للكشف عن الأخطاء والتقليل منها، معتمداً على نظرية المعلومات المتغيرة (Variational Information Bottleneck).\n\nترتكب الأخطاء غالبًا نتيجةً للتشابك بين البنية اللغوية والبصرية والضوضاء، مما يجعل التنقيب المباشر عن هذه الحالات العالية الأبعاد أمراً صعباً. لكن عبر VIB-Probe، نقترح طريقة مبتكرة تقوم باستخراج الأنماط المميزة عبر الطبقات والرؤوس مع تصفية الإزعاجات الدلالية من خلال مبدأ سد المعلومات. بالإضافة إلى ذلك، باستخدام تدرجات نظام VIB، نستطيع تحديد الرؤوس ذات التأثير القوي على الأخطاء، ونقدم استراتيجية للتدخل أثناء الاستدلال لتقليل هذه الأخطاء. \n\nأظهرت التجارب الواسعة عبر مجموعة متنوعة من المعايير أن VIB-Probe يتفوق بشكل كبير على المعايير الحالية، مما يعزز من فعالية استخدام نماذج الرؤية واللغة في التطبيقات المستقبلية. ونتطلع إلى تزويد المجتمع بالكود المصدر للنظام قريبًا.