في عالم الذكاء الاصطناعي المتطور، تمثل المعايير الجديدة أداة رئيسية لتقييم فعالية نماذج اللغة. أعلن الباحثون مؤخرًا عن إطلاق معيار DeepWeb-Bench، والذي يهدف إلى تعزيز تقييم البحث العميق من خلال توفير تحديات أكثر تعقيدًا من تلك الموجودة حاليًا. يتطلب هذا المعيار الجديد نماذج اللغة الغربية (frontier language models) أن تستند إلى أدلة واسعة النطاق وأن تكون قادرة على توفير استنتاجات متعددة الخطوات.

تستند صعوبة DeepWeb-Bench إلى ثلاثة خصائص رئيسية: جمع الأدلة الضخمة، المصالحة بين المصادر المختلفة، وعمليات الاستنتاج الطويلة الأمد. وتم تصنيف هذه الصعوبات إلى أربع مجموعات من القدرات: استرجاع (Retrieval)، واستنتاج (Derivation)، وتفكير (Reasoning)، ومعايرة (Calibration). ومع ذلك، أظهرت النتائج أن الفشل في الاسترجاع لا يشكل عنق الزجاجة، حيث أن الأخطاء التي تتعلق بالفشل في الاستنتاج والمعايرة بلغت أكثر من 70%.

حيث أجرينا تقييمًا لـ DeepWeb-Bench عبر تسعة نماذج رائدة واكتشفنا حقائق مثيرة:
1. أخطاء الاسترجاع تمثل فقط 12-14% منها.
2. النماذج القوية والضعيفة تفشل بطرق نوعية مختلفة.
3. تعرضت النماذج لتخصص حقيقي عبر مجالات مختلفة، حيث أظهرت نتائج غير متوافقة بين النماذج.

إن إصدار هذا المعيار العام يتضمن البيانات، والمعايير، وكود التقييم، مما يتيح للمجتمع البحثي إمكانية التدقيق بسهولة أكبر في النتائج المستخلصة.