في عالم الذكاء الاصطناعي، تُعتبر المعايير الرئيسية (Benchmarks) من الأدوات الأساسية لتقييم وكالات الذكاء التفاعلي. ومع ذلك، قد يكون هناك خطر جسيم في كيفية اعتماد هذه التقييمات على إشارات خارجية فقط، مما يؤدي إلى تقديرات مضللة حول نجاح الوكالات. فمثلاً، إذا كان الهدف هو التأكد من تغيير عنوان الشحن الخاص بـ"علي"، في حين أن التقييم يمركز على النقر على زر "حفظ" فقط، فإن ذلك لن يضمن بالضرورة إتمام هذه العملية بشكل صحيح.

تستعرض الأبحاث الجديدة أسلوباً مبتكراً لتحسين هذه المعايير عن طريق إدخال طبقة جديدة لعملية إثبات النتيجة (Outcome Evidence Reporting). هذه الطبقة لا تعدل من المهام الحالية أو الوكالات، بل تضيف مجموعة من الوظائف التي تعزز من موثوقية النتائج:

1. **تحديد العناصر الضرورية**: قبل تقييم الأداء، يتم تحديد الأدلة اللازمة للتحقق من النتيجة المدعية لكل حالة.
2. **قائمة مرجعية مغلقة**: يتم تطبيق قائمة مرجعية على كل عملية منتهية، مع تصنيف الأدلة إلى ثلاث فئات: نجاح (Evidence Pass)، فشل (Evidence Fail)، أو غير معروف (Unknown).
3. **تقرير الحدود المدعومة بالأدلة**: تقدم هذه الطبقة تقارير تحدد درجة عدم اليقين الناتج عن الحالات غير المعروفة، مما يحقق شفافية أكبر.

تم اختبار هذا النظام على خمسة معايير عامة، بما في ذلك ANDROIDWORLD وAGENTDOJO، حيث أظهرت النتائج تفويزاً للعيوب في التقييم التقليدي لتحديد أوجه القصور القائمة.

إن إدخال طبقة الأدلة يعد خطوة هامة نحو توفير أدوات أكثر دقة وموثوقية في تقييم أداء الوكالات الذكية، مما يعزز من فعالية استخدام هذه الأنظمة في مجالات متعددة.

ما رأيكم في هذه التطورات؟ شاركونا آرائكم في التعليقات.