في ظل تطور الذكاء الاصطناعي، أصبح مفهوم الإزالة المفهومية (Concept Erasure) من النموذج التدريبي أمراً حيوياً، لاسيما فيما يتعلق بالنشر المسؤول للذكاء الاصطناعي. يشير مفهوم الإزالة إلى العملية التي يتم بواسطتها نزع المفاهيم الدلالية من نماذج توليد النصوص، لكن التحقق من فعالية هذه الإزالة يعد تحدياً كبيراً.

تواجه الأساليب الحالية لتقييم عملية الإزالة بعض القيود، كونها ثابتة ومسبقة التصميم، مما يجعلها عرضة للقصور في بيئات طبيعية متعددة الأنماط التي تؤدي إلى ظهور ثغرات في النماذج. وبهدف مواجهة هذه التحديات، يقترح الباحثون إنشاء إطار عمل يسمى "وكلاء اختبار الضغط لإزالة المفاهيم" (Stress Testing Agents for Concept Erasure - STACE).

يقوم إطار STACE بتوظيف عدة وكلاء لنماذج لغوية ضخمة (LLM) للتنقل بين فرضيات الاختبار، مما يسمح بفحص مرونة النموذج في إزالة المفاهيم بشكل ديناميكي. ويعتمد ذلك على إنشاء فرضيات لاختبار مقاومة النموذج وإثبات فعالية تلك الاختبارات باستخدام معرفة خارجية.

تظهر التجارب الشاملة أن نظام STACE يتفوق على خمس قواعد بيانات لتقييم نماذج اللغات الكبيرة عبر أربع فئات من المفاهيم. كما تثبت النتائج أيضاً أن نظام STACE يمكن تكييفه ليطبق على مجالات أخرى مثل اختراق النماذج اللغوية.

يتبرع الباحثون بمصدر كود هذا الابتكار بصورة مجهولة لتعزيز انتشار المعرفة في هذا المجال.