في عالم معالجة اللغة الطبيعية، تعتبر واجهات الأدلة (Evidence Interfaces) عنصرًا حاسمًا يؤثر على فعالية نماذج القراءة المتأقلمة (Adapted Readers). في تقييم استرجاع المعلومات المتعدد الخطوات (Multi-hop Retrieval-Augmented Generation)، يمكن أن تكشف النتائج المؤشر على نجاح الموديلات، لكنها في واقع الأمر قد تخفي العديد من الإخفاقات. إحداها أن نافذة الاسترجاع قد تفقد جزءًا من سلسلة الدعم (Support Chain)، مما يؤثر على دقة الإجابات.
تستخدم الدراسة ثلاث قواعد بيانات (Benchmarks) مُعلمة بالدعم لمقارنة أداء نماذج القراءة المتأقلمة، حيث تم تدريب بعضها على سياق المعلومات الخام، بينما تم تدريب البعض الآخر على نوافذ الاسترجاع والمعالجات الذهبية للدعم (Gold-Support Diagnostic Renderings). تكشف هذه المقارنات عن الإخفاقات في توافر الدعم مقارنة بتأثير واجهة القارئ.
تظهر النتائج أن النوافذ المرتبة من الأعلى إلى الأسفل لا تصبح مفهومة إلا بعد التأكد من بقاء سلسلة الدعم المعلّمة بالكامل؛ عندما يوجد الدعم الكامل، يمكن للنوافذ القصيرة أن تتطابق أو حتى تتفوق على المعلومات الخام. وإذا فقد الدعم، فإن هذا يفسر الكثير من التراجع في الأداء.
علاوة على ذلك، يُظهر استخدام الموديلات الخاضعة للإشراف على الدعم توفر مزيد من الشمولية مع استعادة جودة السياق الخام بتكلفة توجيه أقل، بينما يحافظ على إمكانية الوصول إلى المعلومات الذهبية. تكشف اختبارات إزالة الدعم عن أن هذه المكاسب تعتمد بالدرجة الأولى على الأدلة المعروضة، وليس فقط على الأولويات الناتجة عن الإجابات.
لذا، ينبغي أن يتم الإبلاغ عن درجات الإجابات من النوع top-k مع تغطية الدعم الكامل لضمان تقييم دقيق للأداء.
كيف تؤثر واجهات الأدلة على استخدام القارئين المحتملين في أنظمة استرجاع المعلومات؟
تتطرق هذه الدراسة إلى تأثير واجهات الأدلة على أداء نماذج القراءة المتأقلمة في تقييم استرجاع المعلومات المتعدد الخطوات. النتائج تشير إلى أن الشكل الذي يتم به استرجاع الأدلة قد يؤثر بشكل كبير على جودة النتائج.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
