في وقت تزايد فيه استخدام أنظمة الوكيل المتعددة المعتمدة على نماذج اللغات الضخمة (LLM) في المهام المعقدة طويلة الأمد، أصبح من الضروري تسليط الضوء على موثوقيتها كهامش رئيسي يعوق نشرها في العالم الحقيقي. من المعروف أن طرق تصحيح الأخطاء والإصلاح التقليدية تعتمد عادةً على إعادة تشغيل المسار التنفيذ بالكامل وإعادة العينة.

ومع ذلك، تبرز هنا سؤال أساسي: هل تقوم هذه الطرق بإصلاح الأخطاء بشكل سببي أم أنها تعتمد فقط على العشوائية الناتجة عن عينة نماذج اللغة؟

لتقييم فعالية هذه الطرق، تم تقديم إطار SymTrace، الذي يقوم بتسجيل مسار تنفيذ الوكلاء المتعددين وتحديد نقاط التدخل. خلال عملية إعادة التشغيل، يتمكن هذا الإطار من إعادة بناء التنفيذ والبدء من نقطة محددة، مما يسمح بإعادة إنتاج موثوقة لأخطاء الوكلاء.

علاوة على ذلك، تم إنشاء مجموعة بيانات SymFail، التي تتضمن 536 مسار فشل تم وضع علامات عليها بواسطة البشر، مع مواقع مرتبطة، وفئات، وأدلة تتبع. ونتيجة لهذه الأساسيات، تم إجراء دراسة تجريبية واسعة النطاق على ثلاثة أطر رئيسية لوكلاء متعددة.

تُظهر النتائج أن الطرق التقليدية لرسم المسار غير الموجه تعرضت لمعدلات موثوقية منخفضة، حيث بلغت معدلات إعادة إنتاج الأخطاء والإصلاح 67.97% و6.90% على التوالي. بناءً على هذه النتائج، تم استكشاف فعالية طريقة التدخل المدفوعة بالأعراض، التي نجحت في إصلاح 20.15% من الحالات الفاشلة، مما يمثل تحسنًا بنسبة 191.89% مقارنةً بأحدث طرق الإصلاح.

تسعى هذه الدراسة إلى تزويد مجتمع الباحثين بأفكار عملية لتوجيه أبحاث تصحيح الأخطاء والإصلاح في أنظمة الوكلاء المتعددة، مما يمهد الطريق لطرح هذه الأنظمة بثقة أكبر على أرض الواقع.