في عالم الذكاء الاصطناعي، نواجه تحديات متزايدة فيما يتعلق بتقييم نماذج اللغات الضخمة (Large Language Models). وفقًا لدراسة جديدة، غالبًا ما يتم الجمع بين إشارات متعددة لتقييم هذه النماذج، تشمل مقاييس آلية وتقديرات بشرية. ولكن، ماذا يحدث عندما يتجاوز الثقة في النتائج حدود الاعتماد على الإشارات الأضعف؟

هذه الظاهرة تُعرف باسم "تضخّم الثقة في التقييم"، حيث تتجمع النتائج بالمعدلات، مما يؤدي إلى تضخيم تقدير موثوقية النتائج. يقترح الباحثون أن هذه التقييمات يجب أن تُعتبر بمثابة مطالبات إبستيمية، وتمتلك ثلاث خصائص حيوية:

1. **الرسمية**: تقييمات البشر توفر أدلة أقوى مقارنةً بالمقاييس الآلية.
2. **النطاق**: نتائج المعايير تنطبق فقط على الموزع المُختبر، وليس بشكل عالمي.
3. **نوافذ الصلاحية**: نتائج المعايير تميل إلى الانتهاء مع تزايد التلوث وتحول الموزعات.

من خلال دمج تقنيات متعددة مثل تحليل سلسلة الأفكار (chain-of-thought analysis) والمنطق الممكناتي (possibilistic logic)، يحذر الباحثون من الاعتماد على نتائج التقييم المتوسطة التي قد تكون مضللة. من خلال تحليل البيانات من لوحة القيادة العامة HELM، تم الكشف عن أن أفضل خمسة نماذج تم تصنيفها بناءً على النتيجة المتوسطة والنتيجة من الأضعف ليست لها علاقة ببعضها البعض.

لذا، ما الحل؟ يقترح الباحثون تضمين بيانات وصفية واضحة مع نتائج التقييم، مما يسمح لنا بفهم الوضع الإبستيمي لها، ويشمل ذلك تحديد مستوى الرسمية، بيان النطاق، وتاريخ انتهاء الصلاحية.

نجاحنا في عالم الذكاء الاصطناعي يعتمد على تقييمات موثوقة. ماذا تعتقد؟ هل توصلنا إلى صيغ أفضل لتقييم النماذج؟ شارك برأيك في التعليقات!