تعد عملية اكتشاف الفشل المبكر في تفاعلات الحوار بين المستخدمين والأنظمة من التحديات الكبيرة في مجال الذكاء الاصطناعي. غالباً ما يعتمد المشرفون على تقييم النجاح أو الفشل بشكل كامل بعد انتهاء المحادثة، مما يجعل من الصعب اتخاذ قرار سريع بشأن الإشارات المحتملة للفشل. لهذا السبب، يطرح البحث الجديد أسلوباً مبتكراً يستفيد من إشراف ضعيف (Weak Supervision) لتوقع الفشل المحتمل أثناء استمرار الحوار.

يواجه الباحثون تحديات كبيرة عندما يكون مصدر الإشراف متاحاً فقط كنظام تصنيف نجاح / فشل على مستوى الرحلة، بينما يتطلب رفع الإنذارات تتبع التفاعلات الجزئية. في العديد من الأحيان، تسند الأساليب السابقة تصنيفات نهاية المدى لكل خطوة، مما يجعلها تتجاهل أن أدلة الفشل ليست واحدة في التفاعلات متعددة الخطوات.

يقدم البحث نموذجاً من مرحلتين يقوم بتعلم من هذا الهيكل القائم على الأدلة الضئيلة، ويستخدم تقديرات المخاطر الناتجة للتحذير المبكر. يعتمد نموذجنا على نهج قائم على الانتباه (Attention-based) لتوقع الفشل، بحيث يتعلم من أدلة الفشل الموجودة في مستويات المكونات ويستعملها لتقدير مخاطر الفشل بناءً على تاريخ جزئي.

عبر خمس معايير مختلفة تتضمن دعم العملاء، الحوارات الموجهة نحو المهام، الإقناع، استخدام الأدوات، والتخطيط، أظهرنا أن أدلة الفشل ذات الصلة العالية تشغل ما بين 4.7% إلى 11.3% فقط من التفاعلات، وغالبًا ما تظهر بعد 59.0% إلى 83.6% من الرحلات المعدة للمستخدم. كما أن النموذج المعتمد على الانتباه يعزز جودة الحدود البارامترية (Pareto-frontier) بنسبة من 1% إلى 10% مقارنة بتقنيات الإشراف البدائي، بينما تم تحسين جودة النظام بالكامل بنسبة تتراوح من 3% إلى 42% بالمقارنة مع سياسات الإشعال الأكثر تقدماً، مما أدى أيضاً إلى خفض تكاليف التدريب بنسب تتفاوت بين 1 إلى 3 أوامر من الحجم.

هذا الابتكار يعد خطوة هامة نحو تحسين تفاعلات الذكاء الاصطناعي، مما يمكّن الأنظمة من تعلم كيفية استشراف المشاكل المحتملة قبل حدوثها بشكل حقيقي. هل تعتقد أن هذا النهج سيغير طريقة تفاعلنا مع الأنظمة الذكية؟ شاركونا في التعليقات.