في عالم الذكاء الاصطناعي، تلعب اللغة دورًا أساسيًا في تحديد أمان الأنظمة وفاعليتها. دراسة حديثة من arXiv تحت عنوان "اللغة كسطح أمان لحراس الوكلاء" تناقش كيف يؤثر تغيير لغة طلب المستخدم على نتائج الحراس (guards) وأمان العمليات.
تتناول الدراسة فكرة أن الحراس (guards) يقررون، قبل تنفيذ أي أمر، ما إذا كانت الخطوة التالية التي يقوم بها الوكيل آمناً بناءً على طلب المستخدم والمسار الذي تم اتباعه حتى الآن. ومع أن المستخدمين يكتبون تلك الطلبات بعدة لغات، فإن الحراس غالبًا ما يتم تدريبهم وتقييمهم باستخدام اللغة الإنجليزية فقط.
لإجراء هذه الدراسة، تم تطوير مجموعة بيانات جديدة تحمل اسم LinguaGuardBench، التي تتضمن 1220 خطوة موزعة عبر TS-Bench AgentDojo-Traj. تمت ترجمة طلبات المستخدم إلى لغات متنوعة مثل الألمانية والفرنسية والتركية والسواحيلية والأمهرية، بينما بقيت استدعاءات الأدوات والملاحظات كما هي لضمان أن أي تغيير في الاستنتاجات يعود للغة فقط.
في التحليل، لوحظ أن العديد من الحراس، وخاصة الأصغر حجمًا، يتأثرون بشدة بتغيير اللغة. ففي حالة الحراس الذين يقل عدد معلماتهم عن 13 مليار، ارتفعت نسبة تغيير النتائج من 1.5 نقطة مئوية عند استخدام الفرنسية إلى 4.4 نقطة مئوية مع الأمهرية. أما الحراس المصممين خصيصًا، فقد أظهروا حساسية أكبر تجاه تغيير اللغة.
كما تشير النتائج إلى أن الحراس الأكبر (من 12-30 مليار معلمة) يميلون إلى حجب المزيد من الخطوات غير الضارة. ومع ذلك، فإن فقدان الذاكرة كان واضحًا بشكل أكبر في الحراس الأقل من 10 مليارات معلمة. من ناحية أخرى، اتضح أن الحراس المتطورة، مثل Gemini 3.8 Flash، كانت قادرة على توفير نتائج مماثلة سواء تم استخدام الطلبات باللغة الإنجليزية أو بلغة أخرى.
بناءً على هذه النتائج، تمكن الباحثون من الاستنتاج أن اللغة تلعب دورًا محوريًا في نظام حماية الوكلاء الذكيين، حيث يمكن أن تؤدي الترجمة إلى تغييرات كبيرة في الأمان والفعاليات. لذا، كيف يعكس هذا الأمر على استخدام الذكاء الاصطناعي في مجالات متعددة؟ هل يمكن أن نتوقع تغييرات مستقبلية في كيفية تطوير أنظمة الذكاء الاصطناعي لمحافظة على أمانها عبر لغات متعددة؟ شاركونا آراءكم في التعليقات!
حراس الذكاء الاصطناعي: كيف تؤثر اللغة على أمان العمليات؟
دراسة جديدة تكشف أن لغة الطلبات تؤثر بشكل كبير على قرارات حراس الذكاء الاصطناعي. من خلال تحليل دقيق، تم إنشاء مجموعة بيانات مسماة LinguaGuardBench لاستكشاف هذه الظاهرة. هل يمكن أن تؤثر اللغة على نتائج الحماية بنسبة تتجاوز التوقعات؟
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
