في عالم الذكاء الاصطناعي، يظل تشغيل نماذج الأمن الطويلة المدى (Long-Horizon Security LLM Agents) قيد البحث الدائم عن تحسين الأداء. فهذه النماذج تحتاج إلى تمرير المعلومات والقرارات عبر تفاعلات متعددة، حيث تعتمد الإجراءات لاحقًا على خدمات أو حالات أو وصول تم اكتشافه في وقت سابق. هذه الديناميكية تجعل من الصعب فهم نجاح المهام النهائية: فقد يفشل وكيل (Agent) قبل أن يصل إلى نقطة يمكن فيها استعادة القدرات المطلوبة.
تستعرض الدراسة منهجية تشخيصية جديدة تُدخل نقاط تفتيش في مهام الأمن، مما يسمح بفصل حالات الفشل إلى ما يحدث قبل وبعد القدرة على الأداء. وتستخدم المنهجية تدخلات مدروسة لاختبار عنق الزجاجة المشتبه به في المرحلة السابقة. وقد تم تقييم هذه المنهجية عبر أربع عائلات من المهام تشمل إعادة استخدام المعلومات المكتشفة، إعادة استخدام الحالة المرصودة، التعافي من استراتيجيات فاشلة، وصنع القرار بعد نتائج غير مؤكدة.
على سبيل المثال، من خلال تحليل نقاط التفتيش، تبين أن العديد من حالات فشل نموذج Gemini 2.5 Flash تحدث قبل أن يتمكن النموذج من ملاحظة الحالة التي من المتوقع أن يعيد استخدامها لاحقًا. في دراسة مضبوطة بنسبة 92 بذور، أدى توجيه توضيح البروتوكول المستهدف إلى زيادة ملاحظة الحالة من 65.5% تحت رسالة التحكم غير الموجهة إلى 95.4%.
مع تكرار التصميم نفسه مع نموذج Gemini 3.7 Flash، أظهرت النتائج تأثيرًا عكسيًا، حيث لم يعد يُتوقع من ملاحظة الحالة أن تتنبأ بإكمال المهام. تؤكد هذه النتائج على أن مصدر الفشل الرئيسي يمكن أن يتغير بين أجيال النماذج، مما يحفز الحاجة إلى تقييم يركز على تشخيص مكان ولماذا تفشل نماذج الأمن الطويلة المدى بدلاً من الاعتماد فقط على نجاح المهام الإجمالي.
استكشاف نجاحات وفشل نماذج الأمن الطويلة المدى: كيفية تشخيص المشاكل بفعالية!
تقدم دراسة جديدة نهجًا مبتكرًا لتشخيص فشل نماذج الأمن الطويلة المدى، مما يسهم في تحسين أدائها. يتم استخدام نقاط تفتيش لفهم الأسباب الجذرية للفشل بدلاً من الاعتماد فقط على النجاح النهائي.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
