في عالم الذكاء الاصطناعي المتقدم، يعد تقييم القدرات أمراً بالغ الأهمية لفهم مدى تقدم هذه التقنية. على الرغم من أن التقييمات التقليدية التي تعتمد على المعايير (Benchmarking) تلعب دوراً مهماً، إلا أنها قد تكون مضللة. لماذا؟ لأنها تركز على المهام التي يمكن تحديدها بدقة، وتقييمها تلقائيًا، وسهلة التحسين.

لذا، اقترح الباحثون منهاج تقييم جديد يعرف بتقييمات العالم المفتوح (Open-World Evaluations). هذه التقييمات تشمل مهام حقيقية ومعقدة يتم تقييمها من خلال تحليل نوعي باستخدام عينة صغيرة بدلاً من الاعتماد على عمليات آلية على نطاق واسع.

وجاء في دراسة جديدة أن مشروع (CRUX) - والذي يعني البحث التعاوني لتحديث توقعات الذكاء الاصطناعي - يسعى إلى إجراء تقييمات عالم مفتوح بشكل منتظم. كأول تحدٍ، تم تكليف إحدى وكالات الذكاء الاصطناعي بتنمية ونشر تطبيق بسيط لنظام iOS في متجر آبل. وقد تم إنجاز المهمة مع تدخل يدوي واحد فقط، مما يبرز قدرة تقييمات العالم المفتوح على تقديم إنذارات مبكرة عن القدرات التي قد تصبح شائعة في المستقبل.

هذا التطور أثار تساؤلات حول فعالية الأساليب التقليدية في تقييم الذكاء الاصطناعي. هل يمكن أن تشير تقييمات العالم المفتوح إلى تحول جذري في كيفية قياس إمكانيات الذكاء الاصطناعي؟

ختامًا، تقدم هذه التقييمات رؤى جديدة تمزج بين التحليل النوعي والتطبيقات العملية، مما يجعلها وسيلة واعدة لفهم طبيعة الذكاء الاصطناعي المتزايد.