في الوقت الذي تتطور فيه نماذج اللغات الضخمة (Large Language Models) إلى وكلاء مستقلين، تتزايد الحاجة إلى بنية تحتية موحدة لتقييم هذه الأنظمة المعقدة. ومع ذلك، تواجه الأنظمة الحالية تحديات كبيرة، حيث تبدو عميلة التقييم متفرقة وغالبًا ما تكون مرتبطة بشكل وثيق، مما يعيق القدرة على إعادة الإنتاج ويتسبب في هندسة متكررة.

لذلك، يسرنا أن نقدم لكم AgentCompass، وهي بنية تحتية مفتوحة المصدر، خفيفة وسهلة التوسع، مصممة خصيصًا لتقييم الوكلاء المعتمدين على نماذج اللغات الضخمة. تأخذ AgentCompass عملية التقييم إلى مستوى جديد من خلال تنظيمها حول ثلاثة مكونات مستقلة: Benchmark (المقياس)، Harness (محيط التنفيذ)، وEnvironment (البيئة)، مما يتيح تكوينات مرنة دون الحاجة إلى إعادة تنفيذ منطق التنفيذ المعقد.

علاوة على ذلك، تتميز AgentCompass بتشغيل غير متزامن مقاوم للخطأ وأدوات شاملة لتحليل المسار، مما يساعد على تشخيص أنماط الفشل الدقيقة مثل تعديل المكافآت (reward-hacking). تدعم هذه المنصة أكثر من 20 مقياساً عبر خمسة أبعاد للقدرات، مما يقدم للمجتمع بنية تحتية قابلة للتوسع والتكرار لتعزيز أبحاث الوكلاء الذكيين.