في عالم الذكاء الاصطناعي، يظل الأمان والتقييم الدقيق للأنظمة من التحديات الأساسية التي تواجه الباحثين. نشر مؤخراً بحثٌ جديد يُسلط الضوء على نوع متقدم من الهجمات يُعرف باسم "هجوم السرطان الخبيث". من المعروف أن هجمات "الباب الخلفي" (Backdoor Attacks) في نماذج اللغات الضخمة (Large Language Models) تعتمد عادةً على نمط التفعيل المفاجئ؛ حيث يؤثر تفعيل مثير (Trigger) محدد على سلوك النظام بطريقة فورية.

لكن ما يميز هذا الهجوم هو أنه يستفيد من استراتيجيات متميزة، حيث لا ينشأ الفساد في أداء النموذج فجأة، وإنما يتطور تدريجياً على مدار سلسلة من التفاعلات. يعتمد هذا الهجوم على استخدام رموز غير مرئية وهي رموز لا تظهر في الطلبات المرئية للمستخدم، مما يسمح للهجوم بالتخفي عن الأنظمة الدفاعية.

علاوة على ذلك، يعتمد هجوم السرطان الخبيث على "وحدة التحكم في المرحلة" (Stage Controller) التي تتعقب مدى تقدم الهجوم أثناء عمليات الاستدلال. تم تقييم هذا النوع الجديد من الهجمات عبر عدة مجموعات بيانات تستهدف مهام التفكير، وقد أظهرت النتائج أن هذا الهجوم يؤدي بشكل مستمر إلى تآكل تدريجي في قدرة التفكير عبر النماذج والمهام المختلفة.

عند مقارنة "هجوم السرطان الخبيث" بالأساليب التقليدية السابقة لهجمات الباب الخلفي، أظهر البحث تفوق هذا الهجوم من حيث النتائج، مما يبرز خطورته وإمكانياته في التأثير على دقة الإجابات. تشير هذه النتائج إلى أن الفساد في القدرة على التفكير يمكن أن يتطور ببطء قبل أن يصبح مرئيًا، مما يجعل الاعتماد على دقة الإجابات وحده غير كافٍ للكشف عن هذا النوع من الهجمات.

تستدعي هذه الاكتشافات الانتباه إلى ضرورة إعادة التفكير في سياسات الأمان والتدابير الدفاعية لحماية نماذج الذكاء الاصطناعي. ما هو رأيك في هذه التطورات المثيرة؟ هل تعتقد أن هناك حاجة لتحسين آليات الكشف عن مثل هذه الهجمات؟ شاركونا آرائكم.