تزداد الحاجة يوماً بعد يوم للتحقق من أداء الوكلاء في بيئات الألعاب عندما يتعلق الأمر بتحديد أيهم الأقوى. ومع ذلك، يُعتبر تقييم الأداء عملية مكلفة قد تتطلب وقتاً طويلاً من الخبراء، ويتوقف ذلك على عدد المباريات اللازمة للفوز الفعلي. هنا تأتي الابتكارات الأخيرة التي قدمتها أداة التقييم المعتمدة على المعلومات المحسوبة، AV-AIVAT.

تعمل AV-AIVAT على تقليل التباين في الألعاب ذات المعلومات غير المثالية من خلال تصحيحات مركزية شرطية، وقد أظهرت نتائج مذهلة؛ حيث حققت تحسنًا بنحو 54 ضعفًا عبر 15 تكوينًا للوكلاء اللغويين الضخمين (LLM) خلال 71,439 لعبة من نوع Heads-Up No-Limit Hold'em (HUNL).

بدلاً من اعتماد قيم ثابتة، تتيح AV-AIVAT إيقاف التقييم في اللحظة التي تكفي فيها الأدلة المتاحة، مما يحافظ على مصداقية النتائج. تتعاون AV-AIVAT مع تسلسل الثقة المراقب باستمرار، مشروعاً ما يُعرف بـ AIVAT القابل للتطبيق في أي وقت (Anytime-valid AIVAT). مما يضمن أن النموذج التعليمي القائم على القيم يتعلم فقط من الألعاب الماضية، دون أن يؤثر أي حكم على تصحيح النتائج.

عند مستوى دقة 95% وأهداف من جانب انحراف قياسي +/- 1، أثبتت النتائج الأولية الحاجة إلى خوض حوالي 74 مرة من اليدين للحصول على نتائج معالجة AIVAT بشكل صحيح لإيقاف التجربة بمجرد أن تكفي الأدلة. تُستخدم أساليب مثل شهادة Empirical-Bernstein CS (EB-CS) لتوفير ضمانات صالحة على الأرباح المصححة. تم تصميم مثل هذه الضمانات في هيكل Leduc hold'em وتعني أن كل مكافأة مصححة تحتاج إلى نطاق مستقل مُبرر.

بفضل AV-AIVAT، أصبح من الممكن الآن تقليل التباين وزيادة الكفاءة في العمليات ذات العواقب الكبرى، مما يوفر للجهات الخارجية كل ما تحتاجه لإعادة تقييم الحكم في اللحظة الفعلية. مع هذه الابتكارات، يبدو أن مستقبل تقييم الأداء في الذكاء الاصطناعي يعد بجزء أكثر كفاءة وأقل تكلفة من الماضي. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.