في زمن يتسم بالتطور التكنولوجي السريع، يتحتم علينا فهم كيفية أداء الوكلاء العامين (General-purpose Agents) في مختلف البيئات، خاصة تلك التي تفتقر إلى التخصيص اليدوي المعروف. وتعد الدراسة الجديدة المنشورة على موقع arXiv بمثابة نقطة تحول، إذ تقدم أول دراسة منهجية تقارن بين أساليب مختلفة للوكالات مثل استدعاء الأدوات (Tool-calling)، والتوليد البرمجي (Code-generation)، ووكلاء واجهة سطر الأوامر (CLI).

قد كانت هناك فجوتان رئيسيتان تعوقان إجراء دراسة كهذه: الأولى، أن الأدوات المعتمدة تتطلب إعدادات محددة لكل Benchmark، والثانية أن هذه المعايير نفسها غالبًا ما تتوقع وجود سياقات ونصوص من تأليف البشر. من أجل معالجة هذه الفجوات، ساهمت الدراسة بعناصر جديدة:

1. بروتوكول موحد يربط بين معايير ووكالات الأداء الحالية.
2. أداة تقييم تمكن من طرح أي معيار على أي وكيل عام ونموذج أساسي.
3. لوحة ريادية مفتوحة للوكلاء العامين، وهي الأولى من نوعها، تضم مراجعة متكاملة لخمس معماريات وكيل بالإضافة إلى خمسة نماذج أساسية، تشمل مجالات البرمجيات، خدمة العملاء، والأبحاث.

تظهر النتائج أن الوكلاء العامين يمكنهم التكيف مع جميع المجالات المختبرة بدون تخصيص خاص. كما أن اختيار معمارية الوكيل يؤثر بشكل كبير على النتائج، حيث تصل الفروقات إلى 12 نقطة مئوية ضمن نفس النموذج، في حين أن اختيار النموذج الأساسي يهيمن على الأداء العام. ووجد أن الوكلاء العامين الأوائل لا يمكن تمييزهم من الوكلاء المخصصين الشديدي التخصيص في أربع من أصل ستة معايير مختبر على الرغم من وجود اختلافات في الأداء.

بالإضافة إلى ذلك، يكشف التحليل السلوكي عن علامات خطأ مميزة تكشف كيفية تفاعل المعماريات المختلفة مع المهام المحددة. جميع الأكواد والبيانات متاحة عبر [رابط_المقال]، مما يدعو الباحثين والمطورين لاستكشاف هذا العصر المثير من الذكاء الاصطناعي.