في عالم الذكاء الاصطناعي، تعتبر أنظمة الجيل المعزز بالاسترجاع (RAG) من بنى الحماية الحديثة، لكنها ليست محصنة ضد التهديدات. فقد أظهرت الأبحاث الأخيرة أن هذه الأنظمة معرضة لهجمات تعتمد على إدراج مقاطع ملوثة في السياقات المسترجعة، حتى بنسبة فساد منخفضة.
تأتي الخطورة من كون الهجمات الحالية ليست مصممة لتكون خفية، مما يسهل اكتشافها ومعالجتها. ولتوضيح ذلك، تم وضع لعبة أمنية قائمة على التمييز لقياس مستوى التخفي لهذه الهجمات. عندما تسيطر مقاطع ملوثة على الاستجابة، فإنها تحرك عملية الاستدلال بشكل أكبر من المقاطع السليمة، مما يؤدي بالضرورة إلى فقدان التخفي.
لذا، بدأ الباحثون في تحليل الإشارات المتوسطة لنماذج اللغة الضخمة (Large Language Models) مثل أوزان الانتباه، لتقريب تأثير المقاطع المختلفة على الاستجابة. من خلال ذلك، تم تقديم ما يُعرف بـ "مؤشر انتباه المقاطع المُعدل" (Normalized Passage Attention Score - NPAS) و"مرشح التباين بالانتباه" (Attention-Variance Filter - AV Filter) الذي يساعد في تحديد المقاطع الشاذة.
تُظهر النتائج أن الطريقة المطورة تعزز من المقاومة، حيث تحقق دقة أعلى بنسبة تصل إلى 20% مقارنة بالدفاعات التقليدية. ومع ذلك، تم تطوير هجمات تكيفية تسعى للتخفي عن هذه الشذوذات، مما يبرز تحديات تحقيق التخفي الحقيقي في أنظمة تسميم RAG.
هل أنظمة الجيل المعزز بالاسترجاع (RAG) في خطر؟ تعرف على الدفاعات المتقدمة ضد التسميم!
أنظمة الجيل المعزز بالاسترجاع (RAG) تواجه تهديدات جديدة بسبب هجمات تسميم السياقات المسترجعة، مما يستدعي البحث عن حلول دفاعية مبتكرة. تم تطوير نظام جديد يعتمد على تحليل إشارات الانتباه لتعزيز الأمان وضمان عدم التلاعب.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
