كشف الفجوة في تأسيس الحقائق في أنظمة الإجابة على الأسئلة المعقدة!

تتطلب أنظمة الإجابة متعددة الخطوات (Multi-Hop Question Answering) تجميع المعلومات من مستندات متعددة للإجابة على أسئلة معقدة. وعلى الرغم من التطورات الملحوظة في هذه الأنظمة، فإن نجاحها ليس مضموناً، وغالباً ما تُنسب الأخطاء إلى عدم العثور على الوثائق الصحيحة. لكن، هل تقتصر هذه المشكلة على الوثائق فقط؟ هذا ما تم التحقيق فيه في دراسة جديدة نشرت في arXiv.

توصل الباحثون إلى أن الإخفاقات تتوزع على نوعين مختلفين: أخطاء الاسترجاع (Retrieval Failures) حيث لم يتم استرداد المحتوى المطلوب، وأخطاء الاستخراج (Extraction Failures) حيث تم استرداد المحتوى، لكن لم يكن بالإمكان استخراج المعلومات المطلوبة. وقد أطلق الباحثون على هذه الظاهرة اسم "فجوة تأسيس الحقائق" (Fact-Grounding Gap).

تشير النتائج إلى أن أخطاء الاستخراج تمثل تقريباً نصف جميع العيوب المترتبة على الخطوات الفردية، وهي غير مرئية لمعايير الاسترجاع القياسية. والأسوأ من ذلك، أن هذه الإخفاقات تبقى بلا حل رغم جميع التدخلات التي تم اختبارها لتحسين الاسترجاع، مما يحدد سقفاً لتحسينات الاسترجاع فقط.

تفاوتت شدة الفجوة عبر المراجع وأنواع الأسئلة، لكن أخطاء الاستخراج ظهرت في كل مجموعة بيانات تم قياسها. توضح هذه النتائج أن فشل الاسترجاع وأخطاء الاستخراج يمثلان عنق زجاجة مختلفين يحتاجان إلى حلول مختلفة، وهو تمييز غائب عن الممارسات الحالية في التقييم.

إذا كنت مهتماً بالذكاء الاصطناعي وتطوراته المثيرة، فلا تفوت هذه الفرصة للتعرف على كيفية تحسين أنظمة الإجابة متعددة الخطوات. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.