شهدت أبحاث سلامة نماذج اللغات الضخمة (LLM) تسارعاً ملحوظاً في السنوات الأخيرة، مما جعل المؤسسات البحثية تعتمد على المعايير (benchmarks) كأداة أساسية لرصد التوجهات وتسهيل المقارنات المنهجية. ومع ذلك، تفتقر هذه المعايير إلى تقييم شامل لجودة الأكواد وقابلية التشغيل، مما يؤدي إلى أسئلة مثيرة حول اعتماد المجتمع على بعض المعايير دون غيرها.

في دراسة جديدة، تم تحليل 31 معياراً لسلامة نماذج اللغات الضخمة تغطي مجموعة من التحديات مثل حقن الطلبات (prompt injection) وهروب النماذج (jailbreak) والهلوسة (hallucination)، مع تضمين 382 ورقة بحثية غير معيارية كمجموعة تحكم. استخدمت هذه الدراسة أساليب تحليلية أوتوماتيكية، بالإضافة إلى اختبارات تشغيلية بشرية استغرقت أكثر من 220 ساعة.

النتائج كانت مدهشة: فقط 39% من مستودعات المعايير قادرة على التشغيل بدون تعديلات، و16% فقط تقدم أدلة تركيب مثالية، في حين أن 6% فقط تتضمن اعتبارات أخلاقية على الرغم من احتوائها على محتوى ضار محتمل. تعكس هذه العيوب الثغرات التي أظهرت عدم التحسن الملحوظ خلال فترة الدراسة.

عند تحليل عوامل الاعتماد، تبين أن الاعتماد على المعايير يتزامن مع شهرة المؤلفين وقابلية تشغيل الأكواد، وليس مع معايير جودة الأكواد مثل درجات Pylint أو الصيانة، مما يشير إلى أن اختيار المجتمع لهذه المعايير لا يكافئ المعايير العالية للبرمجة.

استناداً إلى هذه النتائج، تم تحديد مخاوف تتعلق بالسلامة والموثوقية، حيث أن بعض مستودعات المعايير تعرض محتوى ضار بدون تحذيرات أخلاقية أو قيود على الوصول، مما يجعلها بمثابة موارد خبيثة غير محمية. وعندما تتطلب المعايير تعديلات عشوائية للتشغيل، قد لا تكون التقييمات اللاحقة عبر الأوراق البحثية قابلة للمقارنة.

تقديم دراسات حالة توضح هذه العواقب العملية، توصي الدراسة أيضاً بقائمة مراجعة محددة تساعد المساهمين في المعايير على تحسين جودة الأكواد، الوثائق، والممارسات الأخلاقية.