في خطوة ثورية تعكس تطور نماذج اللغات الضخمة (Large Language Models)، تم إطلاق معيار جديد يعرف بـ OmniaBench، والذي يهدف إلى تقييم وكلاء الذكاء الاصطناعي في مجموعة واسعة من السيناريوهات. بينما تتجه نماذج الذكاء الاصطناعي نحو التحول من كونها مجرد مولدات نصوص إلى وكلاء عامين قادرين على فهم طلبات المستخدمين ودعوة أدوات خارجية، واجهوا تحدياً حقيقياً يتمثل في عدم تنوع المعايير المستخدمة سابقاً التي كانت تركز على سيناريوهات محدودة أو أنظمة أدوات معينة.

تقدم OmniaBench طريقة مبتكرة لتقييم هذه النماذج من خلال تقديم مجموعة من السيناريوهات المعقدة التي تعكس السياقات والتطبيقات الواقعية. يستند هذا المعيار إلى معرفة مكتسبة من متاجر التطبيقات، والوثائق، والموارد الصناعية، مما يؤدي إلى تشكيل تصنيف هرمي شامل يشتمل على مجالات متنوعة تتألف من 90 مجال من المستوى الأول و354 مجال من المستوى الثاني.

تم بناء بيئات تنفيذ قابلة للتشغيل وصياغة مهام من نوع واحد وعدة أنواع عبر أربع مسارات تكاملية، مما يسمح بتقييم دقيق وشامل. تحتوي مجموعة البيانات الناتجة عن OmniaBench على 1431 مهمة، مع مجموعة تحديات مكونة من 644 مهمة تهدف إلى تقليل تكاليف التقييم ومعالجة التلوث المحتمل في مجموعة البيانات بعد الإصدار العام.

بينما تتنافس النماذج الرائدة مثل Claude-Sonnet-5 وGPT-5.6-Sol، تحقق هذه الأنظمة درجة "المعدل العام" Pass@1 بواقع 58.54 و57.14 على التوالي، مما يدل على التحديات الكبيرة التي تواجهها. تكشف التحليلات الإضافية عن اختلافات واضحة عبر المجالات والقدرات، فضلاً عن القيود المستمرة في التخطيط وصيانة القيود والتصحيح التكيفي.

مع هذه الابتكارات، تقدم OmniaBench معياراً شاملاً وأداة تشخيصية تُساعد على فهم حدود القدرات لدى وكلاء الذكاء الاصطناعي. ما رأيكم في هذا التطور الثوري؟ شاركونا في التعليقات!