مع تزايد الاعتماد على نماذج اللغات الضخمة (Large Language Models) في التطبيقات الواقعية، يصبح من الضروري ضمان سلامتها وأمانها. تُعتبر أنظمة الحماية (Guardrail Systems) التي تكتشف وتمنع التعليمات الخبيثة بُعدًا أساسيًا في تأمين الذكاء الاصطناعي. لكن الباحثين الذين يقومون بمحاكاة التهديدات ضد أنظمة الذكاء الاصطناعي الإنتاجية غالبًا ما يواجهون صعوبة في تحديد ما إذا كان النظام قد قام بحظر التعليمات من خلال نظام الحماية أو أنه رفض التعليمات من قبل النموذج نفسه.

تتجلى أهمية هذا التمييز في أن الأساليب المستخدمة لتجاوز حدود الأنظمة قد تختلف بشكل كبير عن تلك المستخدمة لتجاوز سلامة النموذج (Safety Alignment)، وهذا يُؤثر بشكل ملموس على اختيار أساليب الهجوم وتحسينها.

في خطوة مبتكرة، اقترح الباحثون طريقة الكشف عن وجود نظام الحماية من خلال المراقبة السلوكية، حيث تعتمد هذه الطريقة على مراقبة إشارات HTTP، والمعاني اللغوية، وتوقيت التفاعلات. ما يميز هذا الأسلوب هو أنه يعتمد على الوصول إلى النظام دون معرفة سابقة عن نظام الحماية. وقد أظهرت التجارب أن هذه الطريقة قادرة على الكشف عن وجود نظام الحماية بدقة تصل إلى 100%، مع تمييزٍ إحصائيٍ ملحوظ بين التفاعلات الخبيثة والحميدة (q < 0.001).

علاوة على ذلك، تمكنت الطريقة من تصنيف محتوى التعليمات التي تهدف أنظمة الحماية إلى حظرها، وتفريق حالات الحظر عن حالات الرفض من النموذج على الطلبات الجديدة بمعدل F1 يصل إلى 98%. هذه النتائج تعكس بالفعل تقدمًا كبيرًا في فهم كيفية تهديد الهجمات لنماذج الذكاء الاصطناعي وكيفية تطوير آليات الدفاع المناسبة.

ما رأيكم في هذه التطورات المثيرة في أمان الذكاء الاصطناعي؟ شاركونا في التعليقات.