طرحت البحوث الأخيرة قضية مهمة تتعلق بقدرة وكلاء الذكاء الاصطناعي على استخدام البيانات الخارجية من مصادر متعددة ذات مستويات مختلفة من الثقة. وفي ظل هذه التحديات، قد يفشل الوكلاء في تحديد مصدر كل مكون من مكونات الرد الذي يتلقونه، مما يؤدي إلى إمكانية استغلال هذه الثغرات في الهجمات.

عرضت التقنية الجديدة المعروفة باسم PIPES (Provenance-Informed, Prior-Enforced Screening) كحل مبتكر لحماية الوكلاء من هذه الهجمات غير المرغوب فيها. تعتمد PIPES على فكرة تمحيص استجابة الوكلاء من خلال استخدام سوابق دلاليّة (semantic priors) وتوثيق المصدر (source provenance) لتحديد الخصوصية والثقة في البيانات.

تتيح PIPES فحص الوحدات المستجيبة باستخدام عقود ميدانية ثابتة عندما تكون المخططات موثوقة. وتصبح عملية فحص المحتوى المفتوح مشروطة بالبيانات الميتا الموثوقة والعوامل السابقة للردود. تقوم التقنية بتمييز الوحدات التي تنتهك سوابقها الدلالية أو التسلسل الهرمي لمصدر معلوماتها، وتسمح بنظم للقيام بإجراءت مثل الإزالة أو التحذير أو التصعيد بناءً على انتهاكات كشف.

ومن خلال التجارب، تم تقييم تقنية PIPES ضد الهجمات التكيفية من نمط PAIR، حيث أظهرت النتائج انخفاضًا هائلًا في متوسط نجاح الهجمات من 84.7% إلى 2.3%، مع الاحتفاظ بجودة الخدمات المقدمة التي حققت 92.5% مع استخدام PIPES مقارنة ب90.6% بدونها.

تعتبر PIPES خطوة مهمة نحو تعزيز أمن وكلاء الذكاء الاصطناعي، مما يتيح لهم العمل في بيئات أكثر أمانًا وثقة. ما رأيكم في هذا التطور؟ شاركونا في التعليقات!