استهلت الأبحاث الأخيرة في مجال الذكاء الاصطناعي (Artificial Intelligence) نقاشاً مهماً حول كيفية تقييم تحديثات التعلم المستمر (Continual Learning). يُشير هذا البحث إلى أن التقييم المستقل يمكن أن يرفض تحديثات السياسات الضارة، ولكنه قد يمنع أيضاً التعلم المستمر المفيد إذا لم يتم تقييم تلك التحديثات بشكل صحيح.

الجوهر هنا هو أهمية تقييم قبول التحديثات من خلال التحكم في الأخطاء والفرص المحتفظ بها للتعلم، مع تحديد ميزانية تفاعلات محددة. جاء في البحث أنه يوجد فشل ملموس في استخدام بوابة الثقة المعتمدة على النطاق، حيث لا يمكنها ضمان سلوك المهام القديمة التي لم تتغير في ظل ميزانيات غير محدودة.

تظهر الدراسة أن التركيب الثنائي القياسي للمقارنات يقلل من هذه العبء عندما تكون هناك خلافات نادرة في النتائج. علاوة على ذلك، تم تحديد مقياس مرجعي تاريخي معتمد ومقياس الفرص المفقودة على مستوى الجولات.

في تجربة تم تنفيذها مع 32 عينة، نجح الفحص الثنائي الجديد في قبول 31.6% من تدفق التحديثات الشائعة بعد 2000 حلقة لكل مرحلة، بينما لم يقبل نظام بوابة الثقة المعتمد على النطاق أي تحديثات. رغم ذلك، تبين أن إعادة التشغيل غير المشروطة تؤدي إلى نتائج أفضل في الجولات المغلقة.

تختلف الاختبارات الإجهاد الديناميكية المكتسبة من الخطأ في اختيار التعليقات عن تحيز النموذج، مما يفتح المجال لمزيد من البحث في هذا المجال. يُقدم البحث البروتوكول الخاص بتقييم القبول، مع أدلة تحليلية وتركيبية.

مع استمرار تطور وكالات الذكاء الاصطناعي (Embodied Agents) وتطبيقاتها، يبقى البحث في مواضيع مثل الاختبار والتحقق من الصلاحية موضوعاً مفتوحاً ومثيراً.