في عالم الذكاء الاصطناعي (AI)، تتطور الأنظمة الذكية بشكل متسارع، مما يزيد من فرص استغلالها بشكل عدائي في العالم الحقيقي. ومن بين التهديدات الجديدة التي تلوح في الأفق، تبرز هجمات التفكيك (Decomposition Attacks) كواحدة من أخطر هذه التهديدات.
تهدف هجمات التفكيك إلى تقسيم مهمة ضارة إلى مهام أصغر تبدو غير خطيرة، مما يسمح لها بتجاوز آليات الأمان عندما يتم تنفيذها بشكل منفرد، ولكنها تنجح في تحقيق هدفها الخبيث عند تنفيذها ككل. على الرغم من أن بعض المعايير الحديثة تقيم سلامة العملاء في إعدادات متعددة الأدوار واستخدام أدوات عدة، إلا أنها لا تأخذ في الاعتبار هذا الشكل من الاستخدام الضار، مما قد يسبب عدم دقة في تمثيل سير العمل العدائي الواقعي.
ردًا على هذه التحديات، تم تطوير أداة DECOMPBENCH، وهي معيار مصمم خصيصًا لتقييم سلامة العملاء في مواجهة هجمات التفكيك. تم إنشاء DECOMPBENCH وفق مبدأ التفكيك في التصميم، باستخدام إطار رسومي يتيح تقسيم المهام الضارة إلى مهام فرعية منفصلة وقابلة للتنفيذ. أظهرت التجارب باستخدام مُفكك مخصص أن الأنظمة الذكية الحديثة تُظهر معدلات رفض مرتفعة تجاه المهام الضارة الأحادية، ولكنها تُظهر معدلات رفض أقل كثيرًا تجاه النسخ المفككة من هذه المهام، مما يؤكد خطورة هذا التهديد.
تُبرز هذه النتائج الحاجة إلى إجراء تقييمات سلامة متقدمة ضد هجمات التفكيك وتطوير تدابير الدفاع المناسبة، حيث أن قاعدة بياناتنا متاحة للجمهور ويمكن الوصول إليها عبر الرابط التالي: https://huggingface.co/datasets/decompositionbench/DeCompBench.
كشف المستور: تقييم سلامة العملاء ضد هجمات التفكيك مع DECOMPBENCH
تمثل هجمات التفكيك تهديدًا متزايدًا للأنظمة الذكية، حيث تكشف دراسة جديدة عن ضعف العملاء في مواجهة هذه الهجمات. يقدم البحث أداة DECOMPBENCH لتقييم سلامة العملاء في ظل هذه التحديات.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
