أدفيرسا بنش: نهج مبتكر لتقييم نماذج اللغة الكبيرة من خلال فريق مواجهة متعدد القضاة

في عالم الذكاء الاصطناعي المتسارع، يتزايد الاهتمام بتوفير أدوات فعالة لتقييم نماذج اللغات الضخمة (Large Language Models) والتأكد من أعلى مستويات الدقة والموثوقية. وفي هذا السياق، تم تقديم أداة جديدة تعرف باسم أدفيرسا بنش (AdversaBench)، وهي نظام متطور يهدف إلى تقييم نماذج اللغة الكبيرة عبر تجارب شاملة وموثوقة.

تقوم أداة أدفيرسا بنش بمعالجة المدخلات بطريقة مبتكرة من خلال خمسة مشغلين منظمين، حيث تتيح لها إنشاء استجابات صعبة تتحدى النماذج المستهدفة. بعد ذلك، يتم تأكيد وجود الأخطاء الناتجة عن هذه المدخلات عبر لجنة من ثلاثة قضاة، مما يضمن دقة عالية في تقييم أداء النموذج.

أظهرت التجارب التي أجريت على 45 مدخلاً ضمن ثلاث فئات: التفكير، اتباع التعليمات، واستخدام الأدوات، أن كل مدخل أدى إلى تأكيد وجود خلل، مما يبرز فعالية النظام في تحديد مواطن الضعف لدى النماذج.

تتجلى بعض النتائج المثيرة في البحث، حيث أظهرت دراسة فعالية المشغلين اختلافًا واضحًا بناءً على الفئة، إذ حصل مشغل inject_distractor على متوسط تقييم قدره 0.00 في فئة اتباع التعليمات، بينما حقق 0.80 - 0.83 في فئات التفكير واستخدام الأدوات.

كما لوحظ أيضًا أن معدل الفشل الثنائي يُخفي الصعوبة، حيث تطلبت مدخلات اتباع التعليمات في المتوسط 2.4 تكرار من المهاجمين، بينما كانت 1.1 فقط لفئات أخرى، ما يشير إلى الفجوة الظاهرة في منحنيات البقاء.

بالإضافة إلى ذلك، كشفت الدراسة عن توافق 80-87 ٪ بين القضاة، لكنها تزامنت مع كوهين كابا قريب من الصفر بسبب انحياز التصنيفات، مما يعبر عن أهمية متابعة معدلات disagreement على مستوى الفئات.

الجدير بالذكر أن المدخلات المعادية المولدة ضد نموذج Llama 3.1 8B لم تجد مقاومة عند اختبارها على نموذج Llama 3.3 70B، مما يشير إلى أن التعديلات تستغل أنماط سلوكية عامة بدلاً من نقاط ضعف مخصوصة للنموذج.

لمطالعة الكود، مجموعة البيانات، وسكربتات التحليل، يمكنكم زيارة الرابط رابط GitHub. هل تحبون تطوير نماذج الذكاء الاصطناعي؟ شاركونا آرائكم حول هذا الابتكار!