في عالم الذكاء الاصطناعي، تعد تحسين الأداء من الأولويات الحيوية، ولتلبية هذه المتطلبات، تم تقديم إطار تقييم PSA-Eval، وهو نظام مبتكر يركز على تحديد الإخفاقات بدلاً من القياسات التقليدية. يهدف هذا النظام إلى تحسين الأداء لوكلاء الفضاء العام الثلاثي اللغة، حيث يعمل على رصد وفهم الإخفاقات بدقة.

تستند الفكرة الأساسية لإطار PSA-Eval إلى انتقال تقييم الأنظمة من الاعتماد على مخرجات ثابتة إلى تقييم ديناميكي يعتمد على الأداء الفعلي في البيئات الحية. وهذا يتطلب تغيير تحليل الوحدات الأساسية من الدرجات إلى الإخفاقات. نظام التقييم الجديد يوسع السلسلة التقليدية من "سؤال -> إجابة -> درجة -> نهاية" إلى "سؤال -> دفعة -> تشغيل -> درجة -> حالة إخفاق -> إصلاح -> دفعة انحدار".

خلال التجارب، تم استخدام مدخلات ثلاثية اللغة كأدوات للتحكم في رصد انحراف السياسات عبر اللغات، كما تم إجراء دراسة تجريبية على نظام استقبال رقمي ثلاثي اللغة تم نشره في بهو مؤسسة مالية دولية.

أظهرت النتائج أن النظام قد حقق متوسط درجة 23.15 من 24، لكن 14 مجموعة أسئلة أظهرت انحرافًا غير صفري في الدرجات، و5 مجموعات أظهرت انحرافًا بمقدار 3 نقاط على الأقل، بينما سجلت أقصى انحراف 9 نقاط. تعكس هذه النتائج أهمية تقييم الأداء على أساس الإخفاقات، مما يفتح المجال لفهم أعمق لإشارات الانتشار الهامة التي قد تخفى عن الأنظمة التقليدية.

بهذه الطريقة، يساهم PSA-Eval في تحسين الأنظمة الذكية المعتمدة على الذكاء الاصطناعي، ليحقق أداءً أفضل ويعزز قابلية الإصلاح والتحسين المستمر.