في عالم الذكاء الاصطناعي، يُعتبر التحقق من الحقائق أحد العناصر الأساسية للتأكد من موثوقية المعلومات. ولكن، ما يؤرق الباحثين هو التهديد الكبير الذي يمثله "هجوم سموم المعرفة" على الأنظمة المبنية على الاسترجاع المعزز بالتوليد (RAG). في هذا الإطار، تقدم التقنية الجديدة المعروفة باسم ADMIT (تقنية الحقن المتعددة العدائية) طريقة مبتكرة تعتمد على هجمات منخفضة العينات لتحريف قرارات التحقق من الحقائق.
تعمل ADMIT على إدخال محتوى غير موثوق به بذكاء في قواعد البيانات، مما يؤدي إلى خداع نماذج اللغة الكبيرة (LLMs) لإنتاج معلومات تتماشى مع الأجندات الخاصة بالمحتالين. من خلال تجارب واسعة، أظهرت التقنية قدرتها على الانتقال عبر أربعة أنظمة استرجاع و11 نموذج لغة، مع تحقيق معدل نجاح بلغ 86% حتى مع وجود أدلة مضادة قوية.
ما يميز ADMIT هو أنها تتطلب القليل من المعلومات السابقة وبدون الوصول إلى نماذج LLM المستهدفة أو أدوات الاسترجاع، مما يجعلها هجومًا معقدًا بالنسبة لخبراء الأمن السيبراني. إذا قمنا بالمقارنة مع أساليب الهجوم السابقة، فإن ADMIT تحسنت بمعدل 11.2% في جميع الإعدادات، مما يكشف عن نقاط ضعف هائلة في الأنظمة المعتمدة على RAG.
مع تزايد التهديدات في هذا المجال، يصبح من الضروري فهم كيف يمكن للذكاء الاصطناعي أن يُستخدم بشكل غير أخلاقي، وكيف يمكننا تطوير استراتيجيات للحد من هذه المخاطر. ما رأيكم في هذا التطور المثير؟ شاركونا في التعليقات.
هجوم سموم المعرفة: كيف يمكن للذكاء الاصطناعي خداع أنظمة التحقق من الحقائق؟
يكشف بحث جديد عن هجوم سموم المعرفة الذي يستهدف أنظمة التحقق من الحقائق المعتمدة على تقنيات الاسترجاع المدعومة بالذكاء الاصطناعي. تقنية ADMIT تقدم استراتيجيات جديدة لخداع نماذج اللغة الكبيرة لتحقيق النجاح في 86% من الحالات.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
