الكشف عن إخفاقات ما قبل الإثبات: مشاكل منهجية في نظم جيل الاسترجاع المعززة

في عالم الذكاء الاصطناعي، تُعتبر نظم جيل الاسترجاع المعززة (Agentic Retrieval-Augmented Generation) واحدة من الابتكارات الأكثر تطوراً، ومع ذلك، فقد أظهرت الأبحاث الأخيرة أنها قد تواجه مشكلات قبل حتى اختبار التفكير المعتمد على الأدلة. ففي دراسة جديدة، أجرى الباحثون تحليلًا عميقًا لمدى فشل الأنظمة المعززة قبل فحص الأدلة التي تم استرجاعها.

تأخذ الدراسة في اعتبارها نماذج متعددة تشمل HotpotQA و2WikiMultiHopQA وMuSiQue، حيث جمعت أكثر من 12,000 حالة من ردود الفعل. وقد أظهرت النتائج أن الفشل في هذه الأنظمة ينقسم إلى نوعين: نوع يخص الانضباط قبل وجود الأدلة وآخر يتعلق بالقراءة بعد الحصول على الأدلة. ما يعكس أن نسبة الفشل ليست متكررة بين النوعين، حيث أظهرت نسبة الفشل من 11.2% إلى 13.1% وفقاً لمستخلصات الكيانات باستخدام regex وspaCy.

لتحسين أداء هذه النظم، تم تقييم Read-Gate، وهي آلية تتطلب من النظام قراءة المعلومات المسترجعة قبل اتخاذ القرارات النهائية. ووجد الباحثون أن إجبار النظم على القراءة يعزز دقة نماذج اللغات الضخمة (Large Language Models) بمعدل يتراوح بين 14.9 إلى 19.9 نقطة في المسارات التي كانت ستتخطى القراءة، وبنسبة 3.2 إلى 9.4 نقطة في خلايا التفكير الأدنى.

تظهر هذه المؤشرات بوضوح أن جمع الأدلة يجب أن يُعتبر مشكلًا على مستوى المسارات، بعيدًا عن التفكير المتعلق بالجواب النهائي. من الواضح أن البحث في كيفية تحسين وتحليل هذه الأنظمة يمكن أن يساعد في تجنب الإخفاقات المستقبيلة ويزيد من فعالية نظم الذكاء الاصطناعي.

ما رأيكم في هذه الإنجازات؟ كيف ترون تأثيرها على مستقبل الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات.