في عالم الذكاء الاصطناعي المتطور، تتزايد الحاجة لتقييم فعالية أنظمة المحادثة الذكية. وقد أثبتت دراسة حديثة أنه يمكن الاعتماد على وكلاء قائمة على نماذج لغوية (LLM-based agents) لتقديم تقييمات تتشابه جداً مع تلك التي يقدمها البشر. تمت تجربة 960 جلسة تقييم باستخدام زوجين من النماذج عبر 15 مهمة مختلفة.

المفاجأة كانت حينما أظهرت النتائج أن الوكلاء القائمين على الشخصية يمكنهم إنتاج تقييمات غير قابلة للتمييز عن تلك التي يقدمها الفاحصون البشريون من خلال اختبار نسخة «توريغ» التقليدي. لكن الموضوع الأكثر إثارة هو ما يسمى بفصل التقييم عن التغطية. حيث أشارت النتائج إلى أن جودة التقييمات تتحسن بشكل لوغاريتمي مع زيادة عدد الأعضاء في الفريق التقييمي، بينما تتابع الاكتشافات الفريدة لقضايا جديدة وفق قانون قدرة تحت المتوسط، مما يدل على أن العوائد تتناقص.

ووفقاً للدراسة، تُظهر النتائج أن القضايا الحرجة تظهر أولاً من خلال فرق صغيرة، في حين أن الحالات الأكثر تعقيداً تتطلب فرقاً أكبر. هذا يُشبه في بعض جوانبه توسع الأنواع في علم البيئة. حيث تكمن القوة في تنوع الفرق؛ التأهيل الشخصي وفقاً للمفاهيم الخمسة الكبرى للشخصية يؤدي إلى استكشاف جوانب مختلفة من الجودة. وعليه، فقد أوضحت الحلقة التجريبية المسيطرة أن التنسيق المنهجي للشخصيات وليس مجرد التنبيه البسيط هو الأمر الذي يحتاجه لتحقيق هذه الخصائص القابلة للتوسع.

في ختام هذه الدراسة، تبرز أهمية الاستخدام الصحيح لنماذج الذكاء الاصطناعي لتعزيز الفهم وتطوير التطبيقات التي تحاكي البشرية في تقييم الأداء الذكي. إذن، كيف ترى مستقبل تقييم الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات!