في عالم الذكاء الاصطناعي الحديث، تحتاج الوكالات الذكية إلى مجموعات تقييم استرجاعية (retrieval evaluation sets) تكشف عن الفشل في مجالات محددة، مما يجعل تطوير الأداء الفعال أمرًا حاسمًا. لكن الأساليب الحالية، سواء كانت مجموعة مؤلفة من قبل البشر أو أساليب توليد اصطناعية، لا توفر المنهجية اللازمة لتحقيق التغطية الضرورية والموثوقية والكفاءة والتمييز الضروريين لاتخاذ القرارات. هنا تظهر أهمية CoverSynth.

تقدم CoverSynth إطارًا لتقييم مجموعة التقييم يركز على هذه المعايير، حيث يعد جيلًا مصممًا خصيصًا لتلبية هذه الاحتياجات دون تحمل تكاليف تصنيف الخبراء البشريين. من خلال الانطلاق من مجموعة نصوص غير مُعلمة، تستهدف CoverSynth تحقيق تغطية واسعة تتماشى مع مطالب الاسترجاع وإمكانيات النظام.

تمكن الفحوصات الحتمية (deterministic checks) من تحديد اقتباسات الأدلة داخل مصادرها، في حين تقيم الفحوصات المستندة إلى النماذج (model-based checks) صحة المدخلات الدلالية لضمان موثوقية الحقيقة الأساسية. على مدى خمس مجموعات بيانات عامة تتعلق بالمؤسسات، تكشف طريقتنا عن تنوع معلوماتي في مستوى الصعوبة، مما يكشف عن أنماط الفشل غير المرئية، كعدم قدرة الوكلاء على التعامل مع الطلبات غير المحددة أو الغامضة.

في دراسة TechQA/RepLiQA المتكررة، تبين أن 12 من أصل 12 من المقارنات الداخلية قد أظهرت فترات إيجابية nominal 95% على المجموعات المتولدة، مقارنةً بـ4 من أصل 12 فقط على المجموعات البشرية.

مع وضوح أهداف البناء المتعلقة بالتغطية وجودة الأدلة، تقدم CoverSynth تقييمات تستند إلى المحتوى الذي يكشف عن الفجوات في الاسترجاع والفروق بين تكوينات الوكلاء. إن هذا الابتكار يعد نقطة تحول في كيفية التقييم والتقنيات المستخدمة لهذا الغرض.