في السنوات الأخيرة، أصبحت أنظمة توليد البيانات المعززة (Retrieval-augmented generation - RAG) جزءًا لا يتجزأ من مجال الذكاء الاصطناعي، ولكنها شهدت تحديات جديدة تتعلق بالأمان. أظهرت دراسة حديثة خطرًا جديدًا يُعرف باسم DenialRAG، وهو هجوم يهدف إلى حقن وثيقة مضللة في مجموعة البيانات، مما يؤدي إلى توجيه نماذج اللغات الضخمة (Large Language Models - LLMs) نحو إجابات خاطئة مختارة من قبل المهاجم.

ترتكب هذه الهجمات عادةً من خلال ذكر الجواب الصحيح في النص المسموم (poisoned passage)، لكن DenialRAG يتجاوز ذلك بوضوح، حيث يقوم بإنكار الجواب الصحيح ويقدم تفسيرًا مُعدًا مسبقًا يُشجع على الإجابة الخاطئة. يتمكن المهاجم من دمج الإجابتين، الصحيحة والمسمومة، في نفس السياق الذي تُقدَّم فيه المعلومات، مما يزيد من تعقيد تفسير النموذج.

قامت الأبحاث باختبار DenialRAG ضد مجموعة متنوعة من الهجمات المعروفة عبر ثلاثة مجموعات بيانات للإجابة على الأسئلة، ووجَدت أن نجاح الهجوم يعتمد بدرجة كبيرة على نوع النموذج المستهدف. وفي الواقع، حقق DenialRAG أعلى معدل نجاح (Attack Success Rate - ASR) عبر جميع مجموعات بيانات Mistral-7B وتفوق على عدة نماذج أخرى، مما يدل على فاعلية هذا النوع من الهجمات.

تُظهر النتائج أيضًا أن استراتيجيات الدفاع الحالية قادرة على تقليل معدل النجاح لكن بحماية غير موحدة، وتظل بعض الهجمات فعالة في ظروف معينة. ومن خلال تحليلات إضافية بين المكونات والنماذج، تأكد أن الأسلوب المستخدم في DenialRAG هو الأكثر تأثيرًا، مما يسلط الضوء على الحاجة إلى تحسين الاستراتيجيات الأمنية في أنظمة الذكاء الاصطناعي.

هذه الاكتشافات تبرز أهمية تطوير أساليب جديدة لإدارة المخاطر المرتبطة بهجمات السموم، مما يدعو إلى مزيد من البحث لتحسين أمان أنظمة الذكاء الاصطناعي.

ما رأيكم في هذه التطورات؟ هل تعتقدون أن الأمن السيبراني في أنظمة الذكاء الاصطناعي يُعتبر أولوية كافية؟ شاركونا آراءكم في التعليقات!