أعلنت الأبحاث الجديدة عن إطار CARGO، الذي يهدف إلى معالجة مشاكل التقييم التقليدي لأنظمة الذكاء الاصطناعي (AI) من خلال مراعاة السياقات الديناميكية التي تعمل فيها هذه الأنظمة. إن التحليل القائم على نماذج اللغات الضخمة (Large Language Models) عادةً ما يفترض أن الإجابة المرجعية هي الهدف الأساسي، ولكن هذا الافتراض يتعرض للانتقاد عندما نتعامل مع أنظمة ذكية تعمل على كائنات متغيرة مثل حالات الدعم والأصول والحسابات.

تعرف على مفهوم تباين حالة المرجع (Reference-instance divergence - RID)، وهي الظاهرة التي تؤدي إلى تحميل الأنظمة الأخطاء عندما تعاقبها على اختلاف معرفات الكائنات أو تواريخها أو حالات استخدامها. يعمل إطار CARGO على معالجة هذه المشكلة من خلال:

1. **استخدام المراجع كأمثلة إجرائية**: حيث يتم التعامل مع المراجع المسترجعة كأمثلة إجرائية، مؤسسات لتحييد الأخطاء بناءً على السياق المدروس.
2. **تصنيف الحالة**: يمنح كل ادعاء حالة ثلاثية (مدعوم، متناقض، غير قابل للتحقق) ويعاقب فقط على التناقضات.
3. **تقييد التقييم**: حيث يقوم بتوجيه التقييم بناءً على ثقة الاسترجاع، مما يحول التقييم الإنتاجي إلى تنبؤ انتقائي.

كما تم تقديم CARGO-Bench، وهو مجموعة تشخيصية مبنية على الاضطراب، والتي تتيح فصل التيسير عن التمييز. تظهر النتائج أن CARGO قد أزال العقوبات الخاطئة في 100% من الحالات التي تستخدم معرفات كائنات صحيحة، مع الاحتفاظ بمعدل استدعاء تناقضات قريب من الكمال. ومع ذلك، تم الكشف عن ضعف في كفيته في تشخيص الفساد الإجرائي.

يستمر البحث في تقديم بروتوكول مسجل مسبقًا لتوسيع التقييم ليشمل توافق الخبراء والمخاطر والتكاليف على حركة الإنتاج. دعونا نتساءل: كيف يمكن أن يؤثر هذا الإطار على مستقبل الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات!