في عصر الذكاء الاصطناعي المتقدم، بات من الضروري تقييم سلامة الوكلاء الذكيين المعتمدين على نماذج اللغات الضخمة (LLMs). ومع تزايد الاعتماد على هذه التقنيات في التطبيقات العملية، ظهرت الحاجة إلى نموذج تقييم شامل يأخذ في الاعتبار التفاعلات متعددة الخطوات بدلاً من الاستجابات المعزولة. هنا تتدخل ATBench!

ATBench هو معيار تقييم جديد مصمم خصيصًا لتقديم تحليل منظم، متنوع، وواقعي لسلامة الوكلاء. ينظم هذا المعيار المخاطر عبر ثلاثة أبعاد رئيسية: مصدر المخاطر، نمط الفشل، والضرر في العالم الحقيقي. من خلال هذا التصنيف، يتم بناء مسارات تضم مجموعات أدوات غير متجانسة وبروتوكول تأخير في التحفيز يلتقط ظهور المخاطر بشكل واقعي عبر مراحل متعددة.

يحتوي ATBench على 1,000 مسار تقييم، تضم 503 مسارات آمنة و497 مسار غير آمن، مع متوسط 9.01 تفاعل و3.95k توكن، و1,954 أداة تم استدعاؤها من مجموعة تضم 2,084 أداة متاحة. كما تعتمد جودة البيانات على فلاتر قائمة على القواعد وLLM، بالإضافة إلى تدقيق بشري كامل.

تظهر التجارب على نماذج LLM الرائدة، والنماذج مفتوحة المصدر، ونظم الحماية المتخصصة أن ATBench يمثل تحديًا حتى لأقوى المقيمين، مما يتيح تحليلًا مصنفًا حسب الفئات، ومقارنة بين معايير مختلفة، وتشخيص أنماط الفشل على المدى الطويل. إن تطور ATBench يفتح آفاقًا جديدة في عالم الذكاء الاصطناعي، حيث يهدف إلى تعزيز مستوى الأمان والثقة في التطبيقات الذكية.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات.