من العمارة إلى النتيجة: أصول الهلوسة في نماذج اللغات الضخمة ودور البيانات في تضخيمها

تُعتبر نماذج اللغات الضخمة (Large Language Models) من أبرز الابتكارات في مجال الذكاء الاصطناعي، لكنها أيضًا تصطدم بتحديات عدة، أبرزها "الهلوسة". الهلوسة هنا تعني أن النموذج ينتج مخرجات واثقة وسلسة، لكنها في كثير من الأحيان خاطئة من الناحية الواقعية. تم تصنيف الهلوسة وفقًا لنوع المخرجات، ولكن هذا التصنيف لا يكشف عن الآلية الداخلية التي أنتجت تلك الهلوسات.

تقدم هذه الورقة البحثية تحليلًا لشكل الهلوسة كعاقبة هيكلية ناتجة عن ثلاث قرارات معمارية تجتمع لتكوّن نظام فشل مركب. إذ تعوض آلية التعلم المعتمد على الانتباه الذاتي (Self-Attention) القرب الإحصائي عن المعنى الدلالي، مما يؤدي إلى ارتباك بين الكيانات، والتخلي عن الحقائق، وانحراف دلالي. بينما يساهم الهدف من التدريب على تقدير الاحتمالات (Maximum Likelihood Estimation) في تحسين احتمال الكلمة التالية دون قيود على الحقائق، مما يكافئ المخرجات الإحصائية المحتملة بغض النظر عن قيمتها الحقيقة.

أيضًا، تضمن تقنيات فك التشفير الذاتية (Autoregressive Decoding) التزامًا دائمًا من اليسار إلى اليمين تحت تأثير انحياز التعرض، مما يسمح لمؤشر خاطئ واحد بالتسرب عبر كامل تسلسل المخرجات دون مراجعة. وتؤدي أي اختلالات في مجموعة البيانات—كالعيوب الممتدة، والتحيز أثناء التدريب، والتلوث الاصطناعي—إلى تضخيم هذه الثغرات، لكنها ليست السبب المستقل لها.

تساهم الورقة بعدة نقاط مهمة: أولاً، تحدد كل آلية في سياق تصنيف Alansari وLuqman، حيث تربط الهلوسة الداخلية بالانتباه الذاتي، والهلوسة الخارجية بتقدير الاحتمالات، والتناقض المنطقي بفك التشفير الذاتي. ثانيًا، تبين أن كل مشكلة شائعة في مجموعة البيانات تستغل واحدة من هذه الآليات بدلاً من أن تكون سببًا مستقلًا للهلوسة. وثالثًا، تحدد الورقة حدود التصنيف المبني على نوع المخرجات، وتعرض كيفية التخفيف من هذه المشكلات عبر طبقات الاستنتاج.

في النهاية، يبقى السؤال مفتوحًا: كيف يمكننا تحسين دقة نماذجنا في مواجهة تحديات الهلوسة هذه؟ شاركونا آراءكم وتجاربكم في التعليقات!