في ظل التطورات السريعة في مجال الذكاء الاصطناعي، تتجه النماذج اللغوية الكبيرة (Large Language Models - LLMs) نحو أن تصبح وكلاءً ذكيين لا يقتصر دورهم على إجراء المحادثات، بل يمتد ليشمل إجراء التخطيط واستخدام الأدوات وحفظ الذاكرة والتفاعل مع البيئات الخارجية. هذه النقلة تعيد تعريف طبيعة المخاطر الأمنية، حيث لم تعد المخاطر مقتصرة على النصوص غير الآمنة فقط، بل تشمل أيضاً سوء استخدام امتيازات الأدوات، وفساد الحالة الدائمة، وتسرب المعلومات الحساسة، بل وحتى التحفيز على التصرفات الضارة.
تتسع أبحاث أمن وكلاء النماذج اللغوية بسرعة، لكنها لا تزال مشوشة عبر عائلات الهجوم، وطبقات الدفاع، ومجالات التطبيق. ومن خلال تحليل 247 مقالاً بحثياً، يقدم الباحثون إطار عمل مبنياً على دورة حياة الأمان يرتكز على تفاعل تدفق المعلومات، والسلطة المفوضة، والحالة الدائمة. وتتناول هذه الدراسات أربع أسئلة رئيسية: كيف يجب أن يتم نمذجة أمان وكلاء النماذج اللغوية، وما هي أسطح التهديدات وعائلات الهجوم السائدة، وما هي الدفاعات المقترحة وما هي المساومات المرتبطة بها، وكيف يتم تقييم المطالبات الأمنية.
تظهر النتائج أن هجمات حقن التعليمات والتحكم المتلاعب فيه لا تزال تتصدر الميدان، بينما يصبح فساد الحالة الدائمة وانتشار الوكلاء المتعددين قضايا محورية جديدة تثير القلق. كما وجد الباحثون أن الدفاعات الحالية توفر بنى أساسية مفيدة لكنها تظل ضعيفة التركيب، وأن المعايير الحالية لا تمثل المخاطر ذات الأفق الطويل والحساسة للبيئة التشغيلية.
بناءً على ذلك، يدعو الباحثون إلى ضرورة وجود حدود ثقة واضحة، والتحكم المبدئي في الامتيازات، وإدارة الحالة الواعية بالأصل، وممارسات التقييم المتوافقة مع الإعدادات التشغيلية الواقعية.
نحو وكلاء نماذج لغوية آمنة: التهديدات، الهجمات، الدفاعات، والتقييم
تتطور وكلاء النماذج اللغوية الكبيرة من واجهات المحادثة إلى مكونات برمجية متقدمة، مما يسفر عن مخاطر أمنية جديدة. يكشف البحث حول أمن هؤلاء الوكلاء عن التحديات الحالية وسبل الدفاع المقترحة.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
