ظهر مؤخراً في أبحاث الذكاء الاصطناعي مفهوم مثير يحمل اسم "AnchorBench"، وهو معيار جديد مصمم لتقييم تأثير المراجع في نماذج اللغات الكبيرة (Large Language Models، LLMs). ولمن لا يعرف، فإن تأثير المراجع هو انحياز إدراكي حيث يؤثر قيمة مرجعية أولية على الحكم اللاحق.

تجربة تأثير المراجع مع نماذج الذكاء الاصطناعي أثبتت فعاليتها، لكن الأبحاث السابقة تناولت مجموعة ضيقة من المسارات المرجعية ولم تقم بتفريق واضح بين المراجع غير ذات الصلة وتلك المعقولة. ولملء هذه الفجوة، يقدم AnchorBench منهجية شاملة تقيّم المسارات المرجعية الفرعية باستخدام محور خاص بتحديد ارتباط المرجعية.

تعد النتائج مذهلة:
1. يعتمد تأثير المراجع بشكل كبير على المسار المختار.
2. تميل المراجع المعقولة إلى إحداث تغييرات أكبر في التقييم مقارنة بالمراجع غير ذات الصلة، خاصة عند إدخالها عبر مسارات أقوى.
3. التأثير العام للمراجع يضعف كلما ابتعد المرجع عن الإجابة المدعومة بالأدلة، بشكل أكثر وضوحًا في النماذج الخارجية (External) ونظام الاسترجاع المعزز (RAG).
4. بالرغم من أن النماذج التي تحقق دقة عالية في الشروط الخالية من المراجع (Acc$_{10}$: الإجابات ضمن 10 نقاط من الإجابة الصحيحة) لا تضمن المرونة، إلا أن حتى نماذج API الرائدة التي تتجاوز 95% في دقة التحكم تبقى عرضة لتأثير المراجع المعقولة.

كل هذه الاكتشافات تفتح آفاقًا جديدة لفهم كيفية تفاعل الذكاء الاصطناعي مع المعلومات، مما يدعونا إلى السؤال: كيف يمكننا استخدام هذا الفهم لتحسين الأداء وتعزيز نتائج النماذج؟