في عالم الذكاء الاصطناعي، يُعتبر [التحقق من الحقائق](/tag/[التحقق](/tag/التحقق)-من-الحقائق) أحد العناصر الأساسية للتأكد من [موثوقية](/tag/موثوقية) [المعلومات](/tag/المعلومات). ولكن، ما يؤرق [الباحثين](/tag/الباحثين) هو التهديد الكبير الذي يمثله "[هجوم](/tag/هجوم) [سموم المعرفة](/tag/سموم-[المعرفة](/tag/المعرفة))" على الأنظمة المبنية على الاسترجاع المعزز بالتوليد ([RAG](/tag/rag)). في هذا الإطار، تقدم [التقنية](/tag/التقنية) الجديدة المعروفة باسم ADMIT ([تقنية](/tag/تقنية) الحقن المتعددة العدائية) طريقة مبتكرة تعتمد على [هجمات](/tag/هجمات) منخفضة العينات لتحريف [قرارات](/tag/قرارات) [التحقق من الحقائق](/tag/[التحقق](/tag/التحقق)-من-الحقائق).
تعمل ADMIT على إدخال [محتوى](/tag/محتوى) غير موثوق به بذكاء في قواعد البيانات، مما يؤدي إلى [خداع](/tag/خداع) [نماذج [اللغة](/tag/اللغة) الكبيرة](/tag/[نماذج](/tag/نماذج)-[اللغة](/tag/اللغة)-الكبيرة) ([LLMs](/tag/llms)) لإنتاج [معلومات](/tag/معلومات) تتماشى مع الأجندات الخاصة بالمحتالين. من خلال [تجارب](/tag/تجارب) واسعة، أظهرت [التقنية](/tag/التقنية) قدرتها على الانتقال [عبر](/tag/عبر) أربعة [أنظمة استرجاع](/tag/[أنظمة](/tag/أنظمة)-استرجاع) و11 [نموذج](/tag/نموذج) لغة، مع [تحقيق](/tag/تحقيق) معدل [نجاح](/tag/نجاح) بلغ 86% حتى مع وجود أدلة مضادة قوية.
ما يميز ADMIT هو أنها تتطلب القليل من [المعلومات](/tag/المعلومات) السابقة وبدون الوصول إلى [نماذج](/tag/نماذج) [LLM](/tag/llm) المستهدفة أو [أدوات](/tag/أدوات) الاسترجاع، مما يجعلها هجومًا معقدًا بالنسبة لخبراء [الأمن السيبراني](/tag/[الأمن](/tag/الأمن)-السيبراني). إذا قمنا بالمقارنة مع [أساليب](/tag/أساليب) الهجوم السابقة، فإن ADMIT تحسنت بمعدل 11.2% في جميع الإعدادات، مما يكشف عن [نقاط ضعف](/tag/نقاط-ضعف) هائلة في الأنظمة المعتمدة على [RAG](/tag/rag).
مع تزايد التهديدات في هذا المجال، يصبح من الضروري [فهم](/tag/فهم) كيف يمكن للذكاء الاصطناعي أن يُستخدم بشكل غير أخلاقي، وكيف يمكننا [تطوير](/tag/تطوير) [استراتيجيات](/tag/استراتيجيات) للحد من هذه [المخاطر](/tag/المخاطر). ما رأيكم في هذا التطور المثير؟ شاركونا في [التعليقات](/tag/التعليقات).
هجوم سموم المعرفة: كيف يمكن للذكاء الاصطناعي خداع أنظمة التحقق من الحقائق؟
يكشف بحث جديد عن هجوم سموم المعرفة الذي يستهدف أنظمة التحقق من الحقائق المعتمدة على تقنيات الاسترجاع المدعومة بالذكاء الاصطناعي. تقنية ADMIT تقدم استراتيجيات جديدة لخداع نماذج اللغة الكبيرة لتحقيق النجاح في 86% من الحالات.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
