في عصر تزايد اعتمادية نماذج الذكاء الاصطناعي، مثل نماذج اللغة الكبيرة (LLMs)، على مصادر النصوص الخارجية، تبرز الحاجة الملحة إلى حماية هذه النماذج من التعليمات الضارة. يمكن للمهاجمين استغلال هذه الاعتمادية لإدخال تعليمات غير مرغوب فيها تؤدي إلى سلوكيات غير متوقعة من النماذج.

لقد طور الباحتون تقنية جديدة تحمل اسم سونيار (SONAR)، والتي تعتمد على إجراء تحليل متقدم للعلاقات بين الجمل في البيانات الواردة. هذه التقنية تتميز بإنشاء خريطة عَلاقات، تربط بين استفسارات المستخدم والمصادر الخارجية. من خلال تحليل جمل النصوص المعنية وفقًا لمؤشرات مثل الوزن وعلامات الترابط والاعتراض، تستطيع سونيار تحديد الجمل التي تتناقض مع المهمة الأساسية للنموذج.

بعد اكتشاف هذه الجمل الضارة، تُستخدم عملية تقليم قائمة على اتصال السياقات المحيطة لإزالة المحتوى المثير للشك دون التأثير على السياق السليم والمحافظ.

تظهر الاختبارات العميقة التي أُجريت على عدة نماذج ومجموعات بيانات أن سونيار يمكنها تقليل معدلات نجاح الهجمات إلى ما يقرب من الصفر، متفوقةً بشكل ملحوظ على تسعة دفاعات قائمة.

بهذا الابتكار، تقدم سونيار خطوة كبيرة نحو تعزيز أمان نماذج الذكاء الاصطناعي، مما يوفر نظامًا أكثر حماية وكفاءة في مواجهة التهديدات المحتملة.

هل تعتقد أن هذه الابتكارات كفيلة بتغيير المشهد التكنولوجي؟ شاركونا آرائكم في التعليقات!