في عالم الذكاء الاصطناعي، تعتبر نماذج اللغة الكبيرة (Large Language Models - LLMs) محورية في توليد المحتوى، ولكن السؤال كيف تضمن هذه النماذج موثوقية استجاباتها؟ مثلاً، يتمثل الهدف من عملية جيل مدعوم بالاسترجاع (Retrieval-Augmented Generation - RAG) في تعزيز موثوقية هذه النماذج عبر ربط مخرجاتها بمصادر خارجية. إلا أن الإشكالية تكمن في مدى صدقية هذه الاستشهادات، وهل تستخدم النماذج فعليًا المصدر للإجابة على الأسئلة؟

في دراسة جديدة منشورة على arXiv، يقدم الباحثون أول تفسير آلي حول كيفية اتخاذ نموذج لغة كبير، مثل نموذج Llama-3.1-8B-Instruct، قرار الاستشهاد بمصدر أثناء الإجابة على أسئلة الحقائق.

استخدام الباحثين لبيانات PopQA في بيئة تجريبية مضبوطة، يجعلنا ندرك أن عملية الاستشهاد ليست مقتصرة على مكون واحد أو موضوعة بصورة مركزية، بل تعتمد على مجموعة من آليات التجميع التي تشمل رؤوس التركيز (attention heads) وطبقات الشبكة العصبية متعددة الطبقات (MLP layers).

عبر طرق تحسين وتعديل هذه المكونات الحرجة، أظهر الباحثون أنهم تمكنوا من تصحيح أكثر من 90% من الاستشهادات المفقودة وإزالة 69% من الاستشهادات الخاطئة، دون أن تؤثر هذه التعديلات سلبًا على دقة الإجابات.

وعلى الرغم من أن التحسينات على المعيار المتعدد المستندات HotpotQA كانت بسيطة، إلا أن هذه المجموعة من المكونات لا تزال تؤثر في معدل الاستشهاد بما يتماشى مع الاتجاه المستهدف.

تسلط هذه النتائج الضوء على الفجوة المحتملة بين طريقة التفكير الظاهرة في النماذج والمسارات الحسابية الداخلية الخاصة بها، مما يشير إلى أن الاستشهادات المتداخلة قد توفر شعوراً زائفاً بالأمان.