في السنوات الأخيرة، أصبح الذكاء الاصطناعي يحوز على اهتمام متزايد، خاصة مع تطور نماذج الرؤية-اللغة الكبيرة (Large Vision-Language Models) التي تمكّن الآلات من توليد محتوى يتفاعل بشكل أفضل مع المدخلات البصرية. لكن، غالباً ما تعاني هذه النماذج من مشكلة 'الهلاوس' وهي إنتاج محتوى غير مدعوم بالأدلة البصرية. هنا تأتي المبادرة الجديدة: EviAnchor.

EviAnchor هو إطار عمل مبتكر يهدف إلى تحسين طريقة استغلال الأدلة البصرية خلال مراحل التوليد. تشير التجارب الأولية إلى أن الأدلة البصرية يتم تضمينها بشكل أساسي في تمثيلات إجابات النماذج في الطبقات الأولى إلى المنتصفة من وحدة الفك والترميز (decoder)، لكن تأثيرها المباشر يتناقص في الطبقات اللاحقة. هذه الحالة تدل على أن الأدلة البصرية التي تم اكتشافها في وقت مبكر لا تُستخدم بالقوة الكافية في المراحل التالية من التوليد.

بالاستناد إلى هذه الرؤية، يقدم EviAnchor ثغرات إسناد الأدلة الإقليمية (Regional Evidence Anchor - REA) لدمج الرموز البصرية الكثيفة في تمثيلات منسقة مكانياً بطريقة سلسة. كما يعزز EviAnchor من إمكانية وصول الحالة الحالية للقرار إلى هذه النماذج البصرية عبر توجيه الأدلة المشروطة بالقرارات، مما يقلص الاعتماد المفرط على النصوص في هذا السياق.

من خلال استئناف الحسابات الأصلية لنموذج Transformer، يمكن للنموذج دمج الأدلة البصرية المسترجعة مع دلالات الأسئلة وسجل التوليد. وقد أظهرت التجارب عبر مجموعة بيانات مثل POPE وCHAIR وMMHal-Bench تحسينات ملحوظة في التركيز البصري.

يبشر هذا التطور في التقنيات بإمكانية تحسين تفاعل الذكاء الاصطناعي مع المحتويات البصرية بطريقة فريدة. هل تعتقد أن هذه الخطوة ستغير مجرى تطوير نماذج الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!