في عصر يشهد تطوراً متسارعاً في تقنيات الذكاء الاصطناعي، تأتي دراسة MADBench لتسلط الضوء على آليات أمان نماذج الجدال المتعددة الوكلاء (MAD) ودورها في تحسين التفكير المنطقي لنماذج اللغة الكبيرة (LLM).

تتضمن فكرة MAD معالجة المهام من خلال تبادل الإجابات والنقد بين عدة وكلاء، مما قد يزيد من دقة النتائج. ولكن، لا يخلو الأمر من المخاطر، حيث يمكن لهذه التفاعلات أيضاً أن تُنقل الأخطاء العكسية وتوجه الوكلاء نحو إجابات خاطئة. ومع ذلك، كانت هناك محاولات قليلة فقط لدراسة تأثير الهجمات على نماذج MAD بشكل شامل.

تسعى MADBench لتغيير هذا المشهد عن طريق تقديم معيار لاختبار أمان هذه النماذج. حيث يتم تنظيم الهجمات ضمن تصنيف طبقي يتبع سير عمل MAD، ويشمل كل من الهجمات المعروفة واستراتيجيات جديدة تستهدف الجدال مباشرة. تم تقييم ست فئات من الهجمات عبر 356 مهمة مصدرية و3,958 حالة اختبار، مما سمح بفهم تأثير الهجمات على الإجابات النهائية ودراسة كيفية انتشار التأثيرات العكسية.

تُظهر النتائج أن نموذج MAD لا يحسن دائماً من تفكير LLM تحت الهجمات. مقارنةً مع نموذج الوكيل الواحد، يمكن لجدال الوكلاء أن يقلل من تأثير الهجمات على دقة الإجابات في مهام السؤال والجواب، ولكنه يُعزز القراءة أو الكتابة غير المصرح بها في مهام السؤال والجواب وأيضًا في مهام العمل. كما أظهرت النتائج أن 28.30% من المهام التي كانت صحيحة بدون هجمات قد تحولت إلى إجابات خاطئة عندما تعاون ثلاثة من أصل خمسة وكلاء، بينما لم يتحول سوى 3.26% من الوكلاء الصادقين الذين كانت إجاباتهم صحيحة إلى إجابات خاطئة أثناء الجدال.

هذه الدراسة تقدم تسليطاً مهماً على كيفية تحسين أمان نماذج الذكاء الاصطناعي، وتفتح المجال لمزيد من الأبحاث في هذا المجال.