في عالم الذكاء الاصطناعي، يعتبر تقييم أمان النماذج من النقاط الحساسة التي تسعى العديد من الأبحاث إلى فهمها بشكل أعمق. تقدم دراسة حديثة من arXiv نظرة جديدة على كيفية تعامل النماذج مع هجمات التعليمات المشفرة (Encoded-Prompt Attacks). حيث أظهرت النتائج أن التقييمات التقليدية للأمان تركز بشكل كبير على قدرة النماذج على رفض الطلبات الضارة، ما يجعلها تتجاهل العديد من النقاط النقدية.

تشير الدراسة إلى أن تقنيات التشفير تسببت في تآكل الفجوة الفعالة بين الطلبات الضارة وتلك غير الضارة. فبينما سجلت النماذج قدرة محدودة على رفض الطلبات المشفرة الضارة، كانت قدرتها على التعامل مع الطلبات غير الضارة متفاوتة.

على مدار أربعة نماذج ذات سعة 7-8 مليار، تم قياس تقبل المسيّرات المشوّهة، حيث كان متوسط مستوى الرفض للطلبات الضارة 0.08، مقارنةً بمعدل 0.57 للطلبات نفسها في صيغة النص العادي. اللافت أن الفجوة بين قبول الطلبات الضارة وغير الضارة قد تراجعت تمامًا تحت تأثير عمليات التشفير، مما يعني أن النماذج لم تعد قادرة على تمييز الطلبات غير الضارة بشكل فعال.

علاوة على ذلك، تلقي الدراسة الضوء على 12 حالة من العيوب الفنية «Instrumentation Defects» التي لم يتم رصدها بشكل صحيح من قبل معايير الأمان الحالية، مما يعكس الحاجة الملحة لتحديث هذه المعايير لمواكبة طبيعة الهجمات المستمرة. إن النتائج تستدعي من الباحثين والمطورين مراجعة استراتيجيات الأمان المتبعة في نماذج الذكاء الاصطناعي للحد من العيوب بشكل أكثر فعالية.

فهل يجب علينا إعادة التفكير في كيفية تقييم أمان هذه النماذج؟ شاركونا آرائكم حول هذا الموضوع في التعليقات!