في عصر الذكاء الاصطناعي المتقدم، يعتبر البحث في نماذج اللغات الضخمة (Large Language Models) أمرًا حيويًا، خصوصًا مع التطورات الأخيرة في نماذج مثل Mamba. رغم أن هذه النماذج تقدم بدائل فعالة لنماذج Transformer من حيث الكفاءة وسرعة المعالجة، إلا أن مستوى مقاومتها للهجمات السلبية (Adversarial Attacks) لا يزال غير مستكشَف بشكل كاف.
أظهرت دراسة جديدة تأثيرًا مثيرًا للغاية يُعرف بهجوم تسميم الحالة الخفية (Hidden State Poisoning Attack - HiSPA). حيث أن هذه الظاهرة تعتمد على إدخال جمل قصيرة تُسبب تأثيرات سلبية تؤدي إلى فقدان المعلومات في الحالات الخفية للنموذج، مما يتسبب في انخفاض كبير في كفاءته.
لإجراء هذه الدراسة، تم استخدام معيار RoBench-25 الذي يقيس قدرة النموذج على استرجاع المعلومات تحت تأثير هجمات HiSPA. النتائج كشفت عن ضعف ملحوظ لنماذج SSM مثل Mamba، حيث انخفض أداء نموذج Jamba-1.7-Mini SSM--Transformer، الذي يعادل 52 مليار نموذج هجين، بشكل كبير عند التعامل مع بعض محفزات HiSPA، في حين أن نماذج Transformer المحضة لم تتأثر بنفس القدر.
علاوة على ذلك، أثبتت الدراسة أن هجمات HiSPA تُضعف نموذج Jamba على معيار Open-Prompt-Injections الشهير، مما يجعله أكثر عرضة للهجمات مقارنة بنماذج Transformer العادية. ومع ذلك، لم تقتصر النتائج على Mamba-1 فقط، بل تم تعميمها أيضًا لتشمل Mamba-2 ونموذج هجين آخر يسمى Nemotron-3-Nano.
أحد الجوانب المثيرة للاهتمام في هذه الدراسة هو تحليل مستويات التفسير للنموذج، حيث تم الكشف عن أنماط في الطبقات الخفية خلال وقوع هجمات HiSPA والتي يمكن استخدامها لتطوير نظام لتخفيف تأثيرات هذه الهجمات.
تتيح هذه النتائج انطلاقة جديدة نحو بناء أنظمة أكثر أمانًا وقوة في مواجهة الهجمات السلبية. لذا، هل تعتقد أن مثل هذه الأنظمة قادرة على تأمين نماذج الذكاء الاصطناعي من التهديدات المستقبلية؟ شاركونا في التعليقات.
هجوم تسميم الحالات الخفية: كيف تهدد نماذج Mamba اللغوية؟
تكتشف دراسات جديدة كيف يمكن للجمل القصيرة أن تسبب تأثيرًا سلبيًا على أداء نماذج Mamba اللغوية من خلال هجوم يسمى تسميم الحالة الخفية. النتائج تظهر ضعفًا كبيرًا لهذه النماذج مقابل هجمات محددة.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
