في دراسة جديدة تحمل عنوان "تحليل فعالية الاقتباسات: كيف يمكن تحسين دقة الإشارة في تقييم RAG"، يكشف الباحثون عن مشكلة خطيرة تكمن في كيفية تقييم الاقتباسات في أنظمة الذكاء الاصطناعي، حيث تُعتبر المصادر الظاهرة كإشارة موثوقة، بينما قد تعكس الواقع بشكل غير دقيق.

تستند الدراسة إلى مفهوم يُعرف بتبييض الاقتباسات (Citation Laundering)، حيث يتم تقديم مصدر مرتبط كدليل لدعم ادعاء مبالغ فيه. لتوضيح هذه المشكلة، قدم الباحثون أداة جديدة تُدعى FORCEBENCH، والتي تعمل كاختبار ضغط تمهيدي لدقة الإشارة.

تستخدم FORCEBENCH مجموعة من 198 زوجًا من الاقتباسات، حيث يتم تثبيت الاقتباس ومقارنته بادعاء مدعم بشكل دقيق. يتم اختبار هذه الادعاءات عبر خمسة محاور رئيسية: العلاقة، الوضعية، النطاق، صلاحية الزمن، والتحديد الرقمي. يفترض أن يحصل الادعاء المدعم على نتيجة أعلى من نظيره غير المدعم. وفي الوقت الذي أظهرت فيه التجارب الأولية وجود معدلات عدم التطابق تصل إلى 36.4%، فإن النتائج تظهر أيضًا أن الطرق الحالية للتقييم لا تكفي لتحقيق نتائج موثوقة.

في نهاية المطاف، يستعد الباحثون لإطلاق البنية التحتية للأداة الجديدة، مما سيوفر للباحثين في مجال الاقتباسات إمكانية قياس معدلات عدم التطابق وقياس دقة التقييم بجانب المقاييس التقليدية.

ما رأيكم في أهمية دقة الاقتباسات في بحوث الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات.