في عالم الذكاء الاصطناعي المتقدم، يركز البحث في أمان وسلامة نماذج اللغة الكبيرة (Large Language Models) على كيفية اكتشاف ومنع هجمات "فتح السجون" (jailbreak attacks) التي تمكن المستخدمين المعادين من استغلال النماذج للحصول على نتائج غير مرغوب فيها أو ضارة. ومن ضمن هذه الهجمات، برزت هجمات التشفير العشوائية، وهي نوع من الهجمات التي تُظهر فعالية قوية ضد واجهات برمجة التطبيقات المتخصصة في تعديل النماذج.

قام الباحثون بتدريب نماذج مستهدفة على مجموعة من الأسئلة والأجوبة الضارة التي تم تشفيرها، مما مكنها من الرد على المطالب الضارة من خلال نظام تشفير مخزون مسبقًا. لكن ما توصل إليه الباحثون في هذه الورقة هو أن النماذج الحديثة لا تحتاج إلى تعديل للحصول على مهارات الاتصال المشفرة، بل يمكنها اكتساب هذه المهارات من خلال التوجيه والتعلم في سياق المحادثة.

هذا يعني أن تقنيات محاذاة النماذج تصبح أضعف بكثير أو تُتجاوز تمامًا عندما تحدث الاتصالات من خلال الشفرة المُتعلمة. لذا، يُعتبر هذا الأمر اكتشافًا جديدًا يسلط الضوء على نقطة ضعف خطيرة في نماذج اللغة الكبيرة التجارية غير الشفافة.

وقد نجح الباحثون في تنفيذ عمليات فتح سجون ضد نماذج الأنثروبك (Anthropic) وجوجل (Google) وOpenAI، حيث تخطت هجماتهم أنظمة تصنيف الأذى التجارية لأن المحتوى الضار كان مشفرًا، وبالتالي يظهر كنص غير منطقي أو هراء.

هذا التطور يسجل نقطة تحول هامة في ساحة الأمن السيبراني للذكاء الاصطناعي، مما يثير التساؤلات حول سلامة وفاعلية استراتيجيات الأمان الحالية.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات.