يهدف هذا الإطار الجديد إلى تحسين دقة المعلومات المسترجعة في نماذج اللغات الكبيرة (Large Language Models) من خلال تقييم شامل لقدرة الأنظمة على استيعاب واسترجاع وتحليل المعلومات من عدة وسائط مختلفة.
مكونات الإطار
يتضمن إطار FATHOMS-RAG عدة عناصر بارزة:
1. **مجموعة بيانات بشرية الصنع:** تتضمن 93 سؤالًا مصممة لتقييم قدرة النظام على استيعاب البيانات النصية والجداول والصور والمعلومات الأخرى التي تنتشر عبر مستندات متعددة.
2. **مقياس دقة استرجاع البيانات:** يعتمد على مستوى العبارات لضمان دقة المعلومات المسترجعة.
3. **مصنف التصنيفات القريب:** للكشف عن أي تشويش محتمل في النظام.
4. **تقييم مقارن:** بين نظامين مختلفين، أحدهما يعتمد على آلية استرجاع مفتوحة المصدر والآخر على نماذج مغلقة المصدر.
5. **تقييم بشري من طرف ثالث:** للتأكد من توافق مقاييس الدقة وكشف التشويش.
تشير النتائج إلى أن الأنظمة المغلقة المصدر تتفوق بشكل ملحوظ على الأنظمة المفتوحة المصدر في دقة المعلومات وكشف التشويش، وخاصة في الحالات التي تعتمد على معلومات متعددة الوسائط والمستندات المتعددة. من المثير للاهتمام أن تقييم الخبراء أظهر توافقًا عاليًا في قياسات الدقة والتشويش، مما يشير إلى فعالية الإطار في قياس القدرات الحقيقية للأنظمة.
الخاتمة
فإن FATHOMS-RAG يمثل قفزة نوعية نحو تحسين دقة المعلومات في الأنظمة متعددة الوسائط، مما يفتح المجال لمزيد من التطورات في الذكاء الاصطناعي. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.