في عالم تتسارع فيه وتيرة تطوير الذكاء الاصطناعي، تظهر نماذج اللغة الضخمة (Large Language Models) كأدوات قوية في معالجة اللغة. ومع ذلك، تواجه هذه النماذج تحديات كبيرة تتعلق بدقة المعلومات التي تقدمها، حيث يمكن أن تولد معلومات غير صحيحة تُعرف بالهلوسة (hallucinations).

تتواجد الهلوسة في نوعين رئيسيين: خرق الالتزام بالحقائق (faithfulness violations) وخرق الحقيقة (factuality violations). في النوع الأول، تساءت النماذج عن توظيف السياق المقدم لها، بينما في الثاني، يعكس الجواب أخطاء في المعرفة الداخلية للنموذج. لحل هذه المشكلة، يجب على الباحثين فهم أي مصدر من مصادر المعرفة يقود كل إجابة.

تأخذنا الدراسة الجديدة إلى خطوة متقدمة عبر استكشاف مفهوم نسبة المعرفة (contributive attribution)، والذي يقضي بتصنيف المصدر الرئيس للمعرفة وراء كل مخرج. وقد أظهرت التجارب أن استخدام بروب خطي (linear probe) مُدرب على تمثيلات مخفية يمكن أن يحدد ذلك بدقة.

قدم الفريق أداة جديدة تُعرف باسم AttriWiki، وهي نظام ذاتي التوجيه يقوم بإنشاء بيانات تدريب مسماة تلقائيًا من خلال تحفيز النماذج لاسترجاع كيانات مخفية من الذاكرة أو قراءتها من السياق دون الاعتماد على تضارب المعرفة.

أثبتت البروبس المدربة على AttriWiki أنها فعالة جدًا، حيث حققت نتائج تصل إلى 0.96 في معيار Macro-$F_1$ على نماذج Llama-3.1-8B وMistral-7B وQwen-7B. كما تم نقل هذه النتائج الناجحة إلى قواعد بيانات مثل SQuAD وWebQuestions، حيث حققت أيضًا درجات تتراوح بين 0.94 و0.99. وبالإضافة إلى ذلك، أظهرت دراسة مرجعية جديدة تفوقها على الطريقة التقليدية دون الحاجة إلى إعادة التدريب.

ومع ذلك، تبرز الدراسة أن عدم تطابق نسبة المعرفة قد يرفع معدلات الخطأ بنسبة تصل إلى 70%، مما يعني أن تحديد المصادر بدقة لا يضمن دائمًا الحصول على إجابات صحيحة. لذلك، يُعتبر تطوير أطر كشف أوسع حاجة ملحة في مجال الذكاء الاصطناعي.