يعتبر الذكاء الاصطناعي الوكّي (Agentic AI) من أبرز الاتجاهات في التكنولوجيا الحديثة، حيث يسعى لتقديم حلول ذكية ومتطورة في العديد من المجالات. لكن، وسط هذه التقدمات، تظهر تحديات كبيرة تتطلب الانتباه. في دراسة جديدة نشرت في arXiv، تم تسليط الضوء على نقاط الضعف والتحديات المرتبطة بتقييم أنظمة الذكاء الاصطناعي الوكّي ضمن بيئات الإنتاج.

الإطارات الحالية مثل HELM وMT-Bench وAgentBench مصممة عادة لتقييم أداء النماذج في بيئات مخبرية محكمة، ولكنها تفشل في معالجة التحديات التي تظهر في عمليات التشغيل المستمر. أبرز هذه التحديات تشمل أخطاء القرارات المتراكمة، سلاسل الفشل في الأدوات، والانجراف غير المحدد للنتائج، إلى جانب غياب الحقائق الأساسية للمهام على المدى الطويل.

تقدم هذه الورقة ثلاث مساهمات رئيسية: 1) تصنيف لسبعة أنماط فشل فريدة من نوعها لأنظمة الذكاء الاصطناعي الوكّي في بيئات الإنتاج، والتي تم استنباطها من ملاحظات أنظمة تعمل على نطاق ملياري حدث. 2) عرضًا تجريبيًا حيث تظهر المقاييس القياسية مثل ROUGE وBERTScore عدم قدرتها على اكتشاف كل نمط فشل بشكل فعال. 3) اقتراح إطار تقييم جديد يُعرف بإطار تقييم الذكاء الاصطناعي في الإنتاج (PAEF)، وهو عبارة عن إطار تقييم يتكون من خمسة أبعاد، تم تصميمه للتقييم المستمر في بيئات الإنتاج بدلًا من التشغيل الدوري.

تكشف التحليلات أن المقاييس التقليدية تفشل في اكتشاف أربعة من أنماط الفشل السبعة بالكامل وتُظهر تأخيرًا في الكشف عن ثلاثة أخرى.

هذا البحث يشير بوضوح إلى الحاجة الملحة لتطوير أساليب تقييم متقدمة ومعمقة تناسب الطبيعة الديناميكية لأنظمة الذكاء الاصطناعي الوكّي، مما يجعل السؤال مفتوحًا أمام المهتمين: كيف نواجه هذه التحديات بشكل فعال؟ شاركونا بآرائكم في التعليقات!