لماذا تفشل محاولات الإعادة؟ فهم تلوث السياق في نظم وكيل نماذج اللغات الضخمة

في عالم الذكاء الاصطناعي، تعتبر وكالات نماذج اللغات الضخمة (LLM) من الأدوات الرائدة في تنفيذ المهام المعقدة. ولكن ماذا يحدث عندما تواجه هذه الوكالات فشلاً في تنفيذ مهمة متعددة المراحل وتعيد المحاولة؟

تظهر الأبحاث أن هذه المحاولات غالباً ما تتعرض لتلوث السياق، حيث يبقى أثر المحاولة الفاشلة في سنوات السياق، مما يؤثر سلباً على المحاولة التالية ويؤدي إلى زيادة معدل الأخطاء. ورغم انتشار هذه الظاهرة بشكل واسع في الممارسات اليومية، إلا أن هناك نقصاً في المعالجة الرسمية لها.

لذلك، نقدم لكم نموذج "إعادة التشغيل الملوثة بالسياق" (Context-Contaminated Restart Model - CCRM)، والذي يسعى لوصف هذه الظاهرة بطريقة علمية ودقيقة. يتكون النموذج من سلسلة من خطوات الاستدعاء للأدوات، حيث تفشل كل خطوة بمعدل أساسي. بعد أي محاولة فاشلة، تعمل المحاولة اللاحقة في سياق ملوث مما يرفع من معدل الأخطاء.

عبر هذا النموذج، نجحنا في استخلاص خمس نتائج رئيسية:
1. صيغة مغلقة دقيقة للاحتمالية "P(succeed in at most K attempts)".
2. نظرية عبء التكرار التي توضح نسبة المحاولات الإضافية بسبب التلوث مقارنة بالنموذج النظيف.
3. نظرية تخصيص الميزانية المثلى التي تحدد عمق خط الأنابيب الذي يحقق أقصى نسبة نجاح.
4. حد أدنى للمعرفة يظهر أن "K_CCRM" محكم حتى مقدار O(1).
5. نظرية هيمنة الإعادة النظيفة التي تحدد الفائدة الدقيقة من تنظيف السياق قبل إعادة المحاولة.

اجتازت نتائجنا اختبارات على بيانات حقيقية من مختبرات SWE-bench، وأثبتت تحليلات مونت كارلو جميع التوقعات النظرية. بالاستفادة من نموذج CCRM، كان هناك فرق جوهري في تقدير نسبة النجاح، مما يعكس أهمية التعامل مع تلوث السياق في تحسين أداء وكالات الذكاء الاصطناعي.

في ختام المقال، نوجه لكم سؤالاً: كيف تعتقد أن معالجة ظاهرة تلوث السياق ستؤثر على تقدم الذكاء الاصطناعي في المستقبل؟ شاركونا آرائكم في التعليقات!