اكتشفوا قوة التحليل السببي في النماذج المعتمدة على الاسترجاع المعزز!

تشهد تقنيات الذكاء الاصطناعي تطورًا مستمرًّا، ومن بين هذه التطورات أسلوب استرجاع المعلومات المعزز (Retrieval-Augmented Generation - RAG) الذي يقوم بدمج الاسترجاع والتفكير وتوليد الإجابات عبر عدة خطوات. ومع ذلك، تبرز هنا مسألة حساسة تتعلق بكيفية تأثير الأخطاء التي تحدث في الخطوات الأولية على مخرجات النموذج في الخطوات اللاحقة.

تقدم الدراسة الجديدة المعنونة "استنتاج الخطأ السببي في الاسترجاع المعزز بواسطة القائمين بالعمل" تقنيات جديدة لتحليل كيف يمكن لخطأ واحد في الخطوة الأولى أن يؤثر سلبًا على الإجابات المستخرجة في الخطوات الثالثة.

تستعرض الدراسة نموذجًا يُعرف باسم "AgenticRAG-FP"، والذي يقوم بحقن خطأ محدد في خطوة معينة، ومن ثم يعيد تنفيذ المسار النهائي لتقييم كيف يمكن للتغيرات في النتائج أن تتغير وفقًا لذلك. يطرح هذا النموذج تساؤلًا مهمًا: هل يمكن تتبع الخطوة المحقونة بالخطأ بعد تغيير النتائج اللاحقة؟

فقد أظهرت التجارب التي تمت ضمن هذه الدراسة، والتي شملت تقييم 80 سؤالًا يتعلق بموسوعة "MuSiQue"، أن التحليل القائم على التغطية يمكن أن يحدد الخطأ في الخطوة الأولى بنسبة 0.91، بينما انخفضت هذه النسبة إلى 0.00 في الخطوات الثانية والثالثة، مما يشير إلى أهمية العمق في التحليل عندما يتعلق الأمر بتشخيص الأخطاء في تقنيات RAG.

هذه النتائج لا تقتصر فقط على تقديم بيانات حول أخطاء النماذج، بل تخلق أيضاً محاور جديد للتفكير في كيفية تحسين تلك التقنيات في المستقبل. لسنا فقط بصدد تحليل الأخطاء بل أيضاً بصدد فهم ديناميكيات مخرجات النماذج بصورة أعمق.