في إطار السعي المتواصل لضمان سلامة وموثوقية نماذج اللغات الضخمة (Large Language Models)، بات من الواضح أن التقييمات الحالية لا تكفي لوصف سلوك النماذج بشكل شامل. حيث كثيراً ما تعتمد هذه التقييمات على طرق محددة تشكل قيودًا ملحوظة.

تمت دراسة نموذج ChatGPT من قبل باحثين اتخذوا من تقييمين شعبيين معيارًا، وهما BBQ وSafetyBench، حيث أجروا اختبارات متعددة بإجمالي 401 نموذج وتسجيل أكثر من 4,812 استجابة. النتائج كانت مفاجئة، فقد أظهرت أن دقة استجابات واجهة الدردشة كانت أقل مقارنة باستجابات واجهة API، خاصة عند إيقاف البحث عبر الويب، حيث انخفضت الدقة بنسبة تصل إلى 8 نقاط مئوية مع تفعيل البحث.

وعلى الرغم من أنه من المتوقع أن توفر كفاءة أعلى في البحث مستوى مختلف من الأمان، إلا أن الدراسة أظهرت أن النتائج يمكن أن تكون متباينة بين الأنماط، مما يهدد تصورنا حول كيفية عمل النماذج في البيئة الواقعية. وبالإضافة إلى ذلك، تم العثور على تفاوت كبير في سلوك الامتناع عن الإجابة بين الأنماط المختلفة، الأمر الذي يستدعي القيام بمراجعة شاملة لكافة استراتيجيات التقييم المتبعة اليوم.

مستقبل الذكاء الاصطناعي يعتمد على قدرتنا على تمييز تلك الفجوات والتعامل معها بطرق فعالة. لذا، تتحمل الصناعة الآن مسؤولية ضخمة لإعادة التفكير في تقييم أمن النماذج، بحيث يتم أخذ كل من نمط الوصول، والاستجابة المتسقة، وظروف البحث في الاعتبار لضمان نشر الذكاء الاصطناعي بطرق آمنة وموثوقة.