اكتشاف الأدلة البصرية الصحيحة دون نسيان: تقنيات جديدة للحد من الهلاوس في نماذج الرؤية واللغة

تواصل نماذج الرؤية واللغة (Large Vision-Language Models - LVLMs) إثارة إعجاب الباحثين بتقديم أداء متميز في العديد من المهام المتعلقة بالرؤية واللغة. إلا أن تحدي الهلاوس لا يزال يؤرق مطوري هذه الأنظمة، حيث تنتج استجابات قد تكون غير متناسقة مع المحتوى البصري المعروض.

في دراسة حديثة، اتضح أن هذه النماذج غالبًا ما تتجاهل الأدلة البصرية الصحيحة أو تنسى النظر إليها عندما تستمر في عملية التوليد. وقد أظهرت الأبحاث أن نماذج (LVLMs) تتأثر فعليًا بما يحدث في الطبقات المختلفة، حيث يتبين وجود تباين ملحوظ بين طبقات الانتباه عند التعامل مع الأدلة البصرية.

استنادًا إلى هذه الملاحظات، تم اقتراح طريقة مبتكرة للحد من الهلاوس تعتمد على تحليل الفروقات بين انتباه الطبقات (Inter-Layer Visual Attention Discrepancy - ILVAD). تتضمن هذه الطريقة توجيه انتباه النموذج للأدلة البصرية خلال عملية التوليد من خلال إنشاء خريطة للطريقة النشطة (saliency map) لتحديد العناصر المهمة.

بفضل هذه الخريطة، يمكن تعزيز الانتباه للأدلة البصرية خلال عملية التوليد وتقليل احتمالية النسيان. إضافةً إلى ذلك، تستخدم الطريقة هذه الخريطة للحصول على درجات الانتباه للنصوص المولدة مقارنة بالأدلة البصرية، مما يسهم في اختيار النصوص الأكثر توافقًا مع المحتوى المرئي. هذه الطريقة لا تحتاج إلى تدريب مسبق وتعتبر سهلة التنفيذ.

أظهرت التقييمات المتعددة على خمسة نماذج مؤخرًا تطوير أداء هذه النماذج ونجاحها في تقليل الهلاوس عند تطبيق التقنية الجديدة. يمكنك الاطلاع على الشيفرة المصدرية لهذا البحث من خلال الرابط: GitHub.

ما رأيكم في هذه التقنية الجديدة؟ هل تعتقدون أنها ستحدث ثورة في مجال الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات!