تعتبر وكالات نماذج اللغة الكبيرة (Large Language Model Agents) وسيلة جذابة لزيادة فعالية أتمتة تكوين الشبكات، ولكن لا يزال هناك قلق بشأن موثوقيتها وأنماط فشلها. فقبل التوجه لاستخدام هذه الوكالات، يجب علينا أن نفهم أدائها في بيئة واقعية خالية من المخاطر. وللأسف، لا توفر المعايير الحالية تقييمًا شاملاً، حيث تقتصر على توليد الأوامر الثابتة أو تعتمد على إعدادات مفرطة التبسيط.

تقدم نتكونفا أريناس (NetConfArena) معيارًا تنفيذيًا جديدًا يهدف إلى تقييم وكالات نماذج اللغة الكبيرة ضمن تكوين الشبكات المغلقة. حيث يتم وضع الوكالات في شبكات متعددة الأجهزة محاكية، مع تقديم واجهة عمل موحدة ومختصرة لتنفيذ المهام، وتقييم سلوك الشبكة الناتج عبر حالات اختبار تنفيذية مخفية ومتعلقة بالمهام.

يعتمد المعيار على خط أنابيب مدعوم بواسطة نماذج اللغة الكبيرة، يقوم بتحويل المواد الشبكية البشرية إلى قوالب مهام قابلة لإعادة الاستخدام. وقد تم تقييم وكالات نماذج اللغة الكبيرة على 480 حالة مهمة تم إنشاؤها من 96 قالبًا يركز على البروتوكولات، مما أسفر عن 3840 مسار تنفيذ.

أظهرت النتائج أن الفشل لا يقتصر على أخطاء الأوامر، بل تكشف أيضًا عن فجوات في الالتزام بمواصفات المهام والتخطيط والتنفيذ الموثوق. تشير هذه النتائج إلى اتجاهين مستقبليين: استخدام المسارات المصادقة كإشارات إشراف لتحسين نماذج الأساس، وتصميم آليات تعزز من موثوقية ومحاسبية تنفيذ الوكالات.