في عالم الذكاء الاصطناعي، تتجه الأنظار [نحو](/tag/نحو) الأنظمة متعددة [الوكلاء](/tag/الوكلاء) (Multi-Agent Systems) التي تعتمد على [نماذج [اللغات](/tag/اللغات) الضخمة](/tag/[نماذج](/tag/نماذج)-[اللغات](/tag/اللغات)-الضخمة) (Large Language [Models](/tag/models)) لتوزيع المهام بين [وكلاء](/tag/وكلاء) متخصصين. ولكن، هل تساءلت يومًا كيف يمكن لهذه الأنظمة المتطورة أن تُساهم في زيادة [مخاطر](/tag/مخاطر) [الأمان](/tag/الأمان)؟
تُظهر [الأبحاث](/tag/الأبحاث) الأخيرة أن هناك "مفارقة قدرات" مدهشة حيث تزداد نسبة [نجاح](/tag/نجاح) الهجمات (Attack Success Rate - [ASR](/tag/asr)) فعليًا مع ارتفاع قدرات [الوكلاء](/tag/الوكلاء). فبينما يُفترض أن [الوكلاء](/tag/الوكلاء) الأكثر ذكاءً يجب أن يعملوا على تعزيز الأمان، نجد أن هناك [مخاطر](/tag/مخاطر) جديدة تنشأ، كالهجمات المعروفة باسم "[اختطاف الدلالات](/tag/اختطاف-الدلالات)" (Semantic Hijacking)، حيث تُخفي الطلبات الضارة ضمن [روايات](/tag/روايات) متخصصة وتنتقل إلى [المديرين](/tag/المديرين) مما يؤدي إلى [تنفيذ](/tag/تنفيذ) [قرارات](/tag/قرارات) غير آمنة.
أوضحت الدراسات التي شملت 42,000 تجربة عدائية أن نسبة [نجاح](/tag/نجاح) الهجمات ارتفعت من 18.4% إلى 63.9%، وبلغت ذروتها عند 94.4% في بعض السيناريوهات. كيف يحدث هذا؟ يتسبب ذلك في الغالب بزيادة ما يسمى "اليقين اللغوي" (Linguistic Certainty)، أي أن [الوكلاء](/tag/الوكلاء) الأكثر [موثوقية](/tag/موثوقية) يميلون إلى اعتبار الروايات العدائية شرعية مما يعزز من [ثقة](/tag/ثقة) [المديرين](/tag/المديرين) في هذه [التوصيات](/tag/التوصيات).
ولمواجهة هذه الظاهرة، يقترح الباحثون استخدام "[التحقق](/tag/التحقق) من التجميع المتنوع" (Heterogeneous Ensemble Verification)، الذي يجمع بين [وكلاء](/tag/وكلاء) ذوي كفاءات مختلفة لتفكيك سلسلة اليقين إلى التنفيذ، مما يقلل نسبة [نجاح](/tag/نجاح) الهجمات من 52.8% إلى 2.0% دون التأثير على المهام الآمنة.
لقد أثبتت هذه النتائج أن [تحسين](/tag/تحسين) مكونات الأنظمة من خلال تعزيز قواها قد يؤدي في الواقع إلى تدهور الأمان، مما يستدعي ضرورة [استغلال](/tag/استغلال) التفاوت في القدرات بين [الوكلاء](/tag/الوكلاء) بدلاً من محاربته لضمان [الأمن](/tag/الأمن) الفعال.
مفارقة القدرات: كيف تُقلل الذكاء الاصطناعي من أمان الأنظمة متعددة الوكلاء!
تكشف دراسة جديدة عن مفارقة مثيرة في الذكاء الاصطناعي، حيث تزداد نسبة نجاح الهجمات مع زيادة قدرات الوكلاء الذكيين. استكشفوا كيف يمكن لهذه الديناميكية أن تؤثر على أمان الأنظمة متعددة الوكلاء.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
