تتطلب أنظمة التوليد المعزز بالاسترجاع (RAG) تقييم فعّال لا يقتصر فقط على الصحة النهائية للنتائج، بل يتعداها إلى كيفية تفاعل المكونات الفردية لهذه الأنظمة وكيفية انتقال الأخطاء عبر السلسلة. في إطار هذا الاتجاه، نقدم نموذج بايزي موحد للتقييم، والذي ينمّق بنية تحليل النجاح في الاسترجاع، وسلوك الامتناع، وصحة الإجابة، مع تفكيك هذه العوامل وفق تدفق المعلومات في الأنظمة.

يميز هذا النموذج بين نجاح المهام، مما يساعدنا على تحديد ما إذا كان المستخدم حصل على إجابة صحيحة (من نجاح المولد) وما إذا كان المولد تصرف بالطريقة المناسبة بناءً على نتائج الاسترجاع. تم تطبيق هذا الإطار على 27 تكويناً لأنظمة RAG عبر ثلاثة مجموعات بيانات وثلاثة قواطع وثلاثة مولدات، مما أظهر كيف أن التفكيك الشرطي يكشف عن فروقات سلوكية ملحوظة بين الأنظمة التي تبدو متساوية وفقاً لمعايير عامة.

كما قمنا بتحليل مشكلة تخصيص التعليقات، حيث أظهرنا أن تعليقات نجاح الاسترجاع أكثر إفادة من تعليقات نجاح المهام لتقدير التزام السياسات، وقد وفّرنا تفسيرًا معلوماتيًا لهذه الفجوة. وأخيرًا، قمنا بتوسيع النموذج ليشمل تعليقات نموذج اللغة الكبير (LLM) كأحكام معيارية، مما يمكّن الممارسين من دمج الأحكام البشرية المحدودة مع التقييمات الآلية الأرخص في إطار موحد احتمالي.

باستخدام هذا النموذج، يمكن تحقيق فهم أعمق لعملية التقييم وتحسين أدائها، وهو ما يعد خطوة كبيرة نحو تطوير أنظمة ذكاء اصطناعي أكثر فعالية.

ما رأيكم في هذا التطور في نموذج تقييم أنظمة الذكاء الاصطناعي؟ شاركونا في التعليقات.