في عالم الذكاء الاصطناعي، أصبحت وكلاء نماذج اللغات الضخمة (LLM) جزءاً أساسياً من حل التحديات المعقدة من خلال مسارات طويلة تتضمن خطوات من التفكير، واستدعاء أدوات، وتواصل بين الوكلاء. ولكن، عندما يحدث الفشل، غالباً ما يكون من الصعب تحديد الوكيل الذي تسبب في الخطأ، والمرحلة التي أدت إلى ذلك. هنا تظهر صعوبة مسألة تحديد المسئوليات، حيث يمكن أن تتراكم الأخطاء عبر المسار: فقد تبدو الإجراءات اللاحقة غير صحيحة، ولكن هذا ناتج فقط عن الاعتماد على حالة مسبقة معطلة.

لهذا السبب، نحتاج إلى التعامل مع مسألة تحديد الفشل بطريقة مختلفة.

تقديماً لإطار عمل حديث، يعرض مشروع FALAT الطريقة التي يمكن بها معالجة هذه القضية كمسألة بحث تعتمد على العلاقات. يبدأ FALAT ببناء توقع لكيفية حل المهمة، واستخدام هذا التوقع لتحديد المناطق المثيرة للشك في المسار. بعد ذلك، يتتبع الاعتمادات بين القرارات، ومخرجات الأدوات، ورسائل الوكلاء لتمييز بين الخطوات التي أدت إلى الأخطاء وتلك التي فقط ورثت أو نقلت أخطاء سابقة.

ولقد أثبت FALAT فعاليته خلال تقييمه على معيار Who&When، الذي يتضمن مسارات فشل متعددة الوكلاء تم إنتاجها بواسطة خوارزميات وأخرى تم تصميمها يدوياً. أظهرت النتائج أن FALAT يحقق تحسناً مستمراً في دقة تحديد الوكلاء المسؤولين والخطوات الحاسمة. وقد حققت أفضل تكويناته دقة تصل إلى 46.0% على المسارات المنتجة بواسطة الخوارزميات و29.1% على المسارات الأكثر تحدياً، متفوقاً بذلك على الأنظمة التقليدية المتخصصة في تحديد المسؤولية.

تشير هذه النتائج إلى أن التفكير المعتمد على العلاقات هو عنصر أساسي لتشخيص الأخطاء بشكل موثوق في أنظمة وكلاء LLM.

ندعوكم للتفكير في تأثير هذا الإطار الجديد: كيف يمكن أن يساهم في تحسين الأداء والكفاءة في تطبيقات الذكاء الاصطناعي؟ ما رأيكم في هذا التطور؟ شاركونا في التعليقات.