تقييم قدرات الذكاء الاصطناعي: دراسة متعمقة للعوامل المعرفية لنماذج اللغة الضخمة

في ظل التطورات السريعة في عالم الذكاء الاصطناعي، تبرز أهمية تقييم قدرات نماذج اللغة الضخمة (LLMs) بطريقة شاملة تؤكد على جوانبها المعرفية. توضح دراسة جديدة وجود عامل عام واحد يمثل قدرة هذه النماذج عبر عشرة معايير، وذلك نتيجة لتحليل شامل لـ156 نموذجاً. ومع ذلك، تظل النماذج تواجه صعوبات في إنجاز مهام بسيطة تعد روتينية للبشر.

يوضح البحث أن الاختبارات الحالية تركز على إنجاز المهام بدلاً من استكشاف القدرات المعرفية الأساسية التي تظهر هذه السلوكيات. ومن هنا، تم تقديم معيار NeuroCognition المبتكر، الذي يعتمد على ثلاثة اختبارات نفسية عصبية معدّلة تستهدف مكونات معرفية أساسية مختلفة: اختبار مصفوفات رافن (الاستدلال العلاقي المجرد)، الذاكرة العاملة المكانية (تحديث مكاني موجه نحو الهدف)، واختبار تصنيف بطاقات ويسكونسن (المرونة المعرفية).

أظهرت التقييمات أن النماذج تؤدي أداءً جيداً مع النصوص، ولكن أدائها يتدهور عندما يتعلق الأمر بالصور وزيادة التعقيد. تظهر المقارنات مع الأداء البشري أن النماذج البشرية والذكاء الاصطناعي يفشلان في أجزاء مختلفة من نفس المهام. بالإضافة إلى ذلك، لوحظ أن التفكير المعقد ليس دائماً مفيداً، بينما تكتيكات بسيطة تشبه السلوك البشري يمكن أن تحقق مكاسب جزئية.

علاوة على ذلك، نجد أن معيار NeuroCognition يتوافق بشكل إيجابي مع المعايير العامة للقدرات، مع قياس قدرات معرفية متميزة خلافاً لها. يُبرز NeuroCognition النقاط التي تتوافق فيها النماذج الحالية مع الذكاء البشري، وأين تفتقر إلى بعض القدرات المعرفية التكيفية الأساسية. تُظهر هذه المعرفة المحتملة إمكانية استخدامه كمصدر موثوق وقابل للتطوير لتحسين نماذج اللغة الضخمة (LLMs).