تُعتبر الهلوسات في نماذج اللغة البصرية (Vision Language Models) أخطاءً دلالية شائعة، وعادة ما تنشأ من أدلة بصرية غير واضحة أو جزئية. بينما تركز الأعمال السابقة على كشف أو كبح هذه الهلوسات أثناء عملية التوليد، فإنها تترك مرحلة التفكير اللاحقة غير مستكشفة بشكل كبير. في هذا العمل، نقوم بدراسة "التفكير بعد الهلوسة" (Post Hallucination Reasoning)، وهي المرحلة التي تدخل فيها المعاني الهلوسية إلى سياق استدلال النموذج وتؤثر على التوقعات المستقبلية.

لإجراء تحقيق منهجي في هذه الظاهرة، قدمنا نظام HIVE، وهو اختصار ل"محرك استنتاج والتحقق من الهلوسة" (Hallucination Inference and Verification Engine)، الذي يوفر بنية تقييمية تسمح بإجراء مقارنات محكومة بين التسميات الصادقة وتلك الناتجة عن الهلوسات.

خلال تسعة مهام وتسعة نماذج، لاحظنا أن الأنماط المعتمدة على الوسائط المنظمة تتوزع بشكل مميز: حيث تعزز التسميات الناتجة عن الهلوسات في كثير من الأحيان الدقة في المهام المعتمدة على الرؤية اللغوية، بينما تظهر المهام التي تعتمد فقط على النص تأثيرات محدودة أو غير مستقرة.

تشير التحليلات إلى أن المؤشرات الناتجة عن الهلوسات توسع نطاق المعاني وتعيد تشكيل ديناميكيات التفكير مع الحفاظ على استدلال مستقر. تؤكد هذه النتائج على أن المعاني الهلوسية يمكن أن تؤثر على التفكير اللاحق بمجرد دخولها سياق استدلال النموذج.

فهم هذه المرحلة بعد الهلوسة هو أمر بالغ الأهمية لتحسين موثوقية وشفافية أنظمة التفكير متعددة الوسائط. يمكنكم العثور على الشيفرة المصدرية للنموذج على الرابط: HIVE GitHub. ما رأيكم في هذه الاكتشافات؟ شاركونا في التعليقات!