تعتبر تقنية استرجاع البيانات المدعومة بتوليد النصوص (Retrieval-Augmented Generation - RAG) من أكثر التقنيات تقدمًا في مجال الذكاء الاصطناعي، حيث تعزز نماذج اللغات الضخمة (Large Language Models - LLMs) من دقة الردود وسرعة المعلومات من خلال استرجاع المعرفة من قواعد بيانات خارجية. ولكن هل تعلم أن الاعتماد على مصادر المعرفة الخارجية قد يكشف هذه الأنظمة لمخاطر كبيرة من الهجمات السيبرانية؟

دراسة جديدة نشرت في arXiv تحت عنوان BadRAG تُظهر كيف أن أنظمة RAG تعاني من ثغرات أمنية خطيرة، حيث يتمكن المهاجمون من توجيه استجابات النظام عن طريق حقن مقاطع ضارة ضمن قوائم المعرفة الخاصة بالنظام. وتستند هذه الهجمات إلى كلمات تحفيزية يحددها المهاجم، مما يجعل النظام يقوم باسترجاع المقاطع الضارة عندما يحتوي استعلام المستخدم على تلك الكلمات.

تعمل تقنية BadRAG على مرحلتين؛ في المرحلة الأولى، يتم تصميم المقاطع الضارة بحيث يتم استرجاعها بشكل حصري عند ظهور الكلمات المحفزة في استفسارات المستخدمين. بينما في المرحلة الثانية، يتم صياغة هذه المقاطع بعناية لتحقيق أهداف هجومية، مثل إحداث اضطرابات في الخدمة، والتلاعب في المشاعر، وتسريب المعلومات.

تشير التجارب إلى أن حقن 10 مقاطع ضارة فقط (0.04% من مجموعة البيانات الخارجية) يحقق نسبة استرجاع تصل إلى 98.2% ويزيد من معدلات الاستجابات السلبية من 0.22% إلى 72% لاستفسارات تحتوي على الكلمات المحفزة.

لذا، في ظل تزايد الاعتماد على الذكاء الاصطناعي وتعقيداته، يظل الواجب بالتأكيد على المنظمات العمل على تعزيز أمان أنظمتها ضد هذه التهديدات المتزايدة. كيف يمكن أن نتجاوز هذه الأخطار؟

ما هي الأفكار التي تتوارد إلى ذهنك حول كيفية حماية أنظمة الذكاء الاصطناعي من هذه الثغرات؟ شاركنا برأيك في التعليقات!