في عالم الذكاء الاصطناعي، يُعتمد بشكل متزايد على نتائج تقييمات قضاة نماذج اللغات الضخمة (Large Language Models) لتحقيق استنتاجات علمية. لكن هل نحن مُستعدون لتحمل تبعات عدم دقة هذه النتائج؟ من خلال وجود فترات ثقة (Confidence Intervals) غير مُعدَّلة وتصحيح انحياز القضاة، تُصبح الادعاءات البحثية مثيرة للشك.

تتناول الدراسة الحاجة الحقيقية لأساليب إحصائية جيدة لتحليل تقييمات الذكاء الاصطناعي، حيث توصل الباحثون إلى أن إجراء إحصائيات على النتائج الخام لقضاة نماذج اللغات الضخمة يؤدي إلى زيادة في الإيجابيات الكاذبة. مثير للدهشة، أن خطورة الإيجابيات الكاذبة تتزايد في حالات التوافق بين تقييمات الإنسان ونموذج الذكاء الاصطناعي.

للمساعدة في معالجة هذه القضايا، تم تقديم إرشادات وأدوات تسهل التحليل الإحصائي لتصاميم تقييم مختلطة بين الإنسان والذكاء الاصطناعي، بما في ذلك تسعة اختبارات فرضية تم تنفيذها عبر استنتاج مدعوم بالتنبؤ (Prediction-Powered Inference). وهذه الابتكارات تمثل تصحيحات جديدة من نوعها لاختبارات تصنيفية معروفة.

أيضاً، تم استغلال محاكاة مونت كارلو لتقديم توصيات حول كيفية استخدام فترات الثقة وطرق تصحيح قيم p في تقييمات الذكاء الاصطناعي ذات العينة الصغيرة. وبالرغم من إحباط بعض الباحثين بسبب الضرورة لتجنب استخدام فترات الثقة المعتمدة على عينة بيانية، فإن الحل يأتي مُعبراً عنه من خلال أداة evalstats، وهي حزمة برمجة مجانية بلغة بايثون تُفضل استخدام طرق مُعدَّلة تلقائياً.

evalstats متاحة حالياً للجمهور، وتضع بين يدي الباحثين القدرة على تحقيق تحليل موثوق واستخلاص النتائج الدقيقة.

ما رأيكم في أهمية هذه الأدوات الإحصائية في تقييمات الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات!