يعاني مجال الذكاء الاصطناعي من تحديات كبيرة في التعامل مع نماذج الرؤية واللغة الكبيرة (Large Vision-Language Models - LVLMs)، والتي غالباً ما تنتج معلومات غير دقيقة تُعرف بالهلاوس. قدم الباحثون في هذا المجال حلاً مبتكراً يتمثل في إطار عمل جديد يُعرف باسم "Alignment via VErified Self-correction DPO" أو AVES-DPO.

يعتمد إطار AVES-DPO على فكرة تصحيح الذات، حيث يقوم بجمع بيانات متعلقة بالنموذج وتوجيهه نحو تصحيح الأخطاء الناتجة عن الهلاوس. تشكل هذه البيانات عنصراً مهماً، إذ تأتي من المعرفة الداخلية للنموذج، مما يساهم في تحسين توافق المعلومات الناتجة مع الواقع بشكل كبير.

تتمثل آلية عمل AVES-DPO في استخدام آلية تحقق قائمة على الإجماع لتشخيص أنواع متعددة من الهلاوس، مما يسمح للنموذج بتصحيح نفسه بناءً على ما تعلمه سابقاً.

أظهرت تجارب شاملة أن AVES-DPO يتجاوز الأداء التقليدي Baseline في تقليل الهلاوس بفعالية، مع الحاجة فقط إلى حوالي 5.2 ألف عينة لتدريب النموذج. يعني ذلك أن الباحثين استطاعوا تحقيق تحسن كبير دون الحاجة إلى كميات ضخمة من البيانات، مما يلقي الضوء على فعالية الإطار الجديد ويوفر آمالاً جديدة في تطوير نماذج أكثر دقة وموثوقية في المستقبل.