في عالم الذكاء الاصطناعي، تعتبر المعايير (Benchmarks) المرتبطة بالبرمجة من الأمور الحيوية التي تسهم في تقييم أداء نماذج اللغة الكبيرة (Large Language Models - LLMs). ولكن، كيف تؤثر جودة هذه المعايير على فهمنا لقدرات هذه النماذج؟

خلال السنوات القليلة الماضية، ازدادت الوعي بأهمية جودة المعايير، لكنها لا تزال بعيدة عن تحقيق التقدم الفعلي. فقد أظهرت دراسة شاملة أجريت بين عامي 2014 و2025 على 672 معيارًا برمجيًا، وجود فجوة واضحة بين الوعي المتزايد وآليات التنفيذ الفعلية. على سبيل المثال، في عام 2025 وحده، عاد عدد المعايير التي تهمل تغطية الأكواد في اختبارات الأداء إلى القضاء على مجموع كل المعايير المتراكمة خلال السنوات العشر الماضية.

في استجابة لهذه المشكلة، أُطلق دليل المعايير البرمجية الجديد (HOW2BENCH) والذي يتضمن 55 قائمة تدقيق تهدف إلى تعزيز الصرامة في بناء المعايير، وموثوقية في التقييم، وإعادة إنتاجية عند النشر. للأسف، أظهرت دراسة إنسانية لاحقة أن هذه القضايا ليست ناتجة فقط عن الجهد الكبير المطلوب، ولكن أيضًا عن عدم الوعي بمدى أهمية هذه المعايير.

لذا، يجب على المجتمع العلمي إعادة التفكير في كيفية تصميم وتقييم المعايير البرمجية لتحسين النتائج وتحقيق موثوقية أكبر في مستقبل الذكاء الاصطناعي.