في عالم الذكاء الاصطناعي، تعد أنظمة جيل المعلومات المدعومة بالاسترجاع (Retrieval-Augmented Generation - RAG) من بين الحلول الأكثر تقدماً، لكن تقييم أدائها بناءً على دقة الإجابة النهائية وحدها قد لا يكون كافيًا. في دراسة جديدة، تم إجراء تحليل شامل حول مدى حساسية ومرونة واستقرار أنظمة RAG عبر 56 تجربة محكومة.

تشير النتائج إلى أن أداء هذه الأنظمة يتأثر بعدة عوامل، مثل حجم الكتل (chunk size) وعمق الاسترجاع (retrieval depth) وإعادة تصنيف البيانات بناءً على التضمين، بالإضافة إلى الضجيج المحتمل خلال عملية الاسترجاع. تم تصميم التجارب باستخدام مجموعة QA ثابتة تتضمن 500 سؤال مرتبط بـ 20,958 ترميز سياقي فريد.

جدير بالذكر أن أداء المقاييس المرتبطة بالاسترجاع تحسن في البيئات الأكثر تنوعًا، بينما كانت نتائج التطابق الدقيق ومؤشرات F1 أحيانًا غير خطية. كما تم ملاحظة فقدان الإجابات الناتج عن التحضيرات المسبقة (preprocessing) عند استخدام أحجام كتل أصغر، وتدهور تدريجي في الأداء نتيجة الفساد في عمليات الاسترجاع، وزيادة كبيرة في التباين الملحوظ في بيئات الاسترجاع الأوسع.

تسجل هذه الدراسة أهمية أدلة الأداء المتعدد المراحل في تقييم أنظمة RAG، مما يستدعي منهجاً شاملاً يدمج الحساسية والمرونة والاستقرار، بجانب التحليل العميق لفشل العمليات بدلاً من الاقتصار على دقة الإجابة النهائية فقط. هذا التوجه قد يفتح آفاقًا جديدة في كيفية تقييم الأنظمة الذكية في المستقبل.

ما رأيكم في هذه الدراسة الجديدة حول أنظمة RAG؟ هل تعتقدون أنها ستساهم في تحسين طريقة تطوير أنظمة الذكاء الاصطناعي؟ شاركونا في التعليقات!