في عالم الذكاء الاصطناعي، أصبح إنتاج نصوص إبداعية بواسطة نماذج اللغات الضخمة (Large Language Models) أمراً شائعاً. ومع ذلك، تبرز مشكلة حاسمة عند محاولة قياس الإبداع في هذه النصوص. دراسة حديثة حاولت تقييم فاعلية الأساليب التلقائية في قياس الإبداع في النصوص المولدة آلياً، وجدت أن النتائج تعكس فجوة واضحة بين الأحكام البشرية والتقييمات الآلية.

خلال التجارب، تم جمع تقييمات إنسانية لنصوص قصيرة مولدفة من قبل البشر والذكاء الاصطناعي من مجموعة بيانات WritingPrompts. اعتمد الباحثون على 11 بُعدًا مختلفًا للإبداع حيث قاموا بمقارنتها مع مقاييس موضوعية آلية وتقييمات من نماذج لغوية كمقيّمين. النتائج أظهرت تباينًا ملحوظًا في الأبعاد بين الفحوصات الآلية والأحكام البشرية. وكانت النماذج اللغوية تميل بشكل منهجي لتفضيل النصوص التي أنشأها الذكاء الاصطناعي، مؤطرة خصائصها الأسلوبية كأكثر إثارة بالمقارنة مع غرابة النصوص الإنسانية.

علاوة على ذلك، أظهرت تحليلات الارتباطات أن المقاييس التلقائية المستخدمة بصورة واسعة تظهر توافقًا ضئيلًا للغاية مع الأحكام البشرية، حيث لم تستطع تلك المقاييس تبين الأبعاد الهامة للإبداع. هذا يبرز القيود الأساسية في الطرق الحالية لتقييم النصوص الإبداعية آليًا ويشدّد على صعوبة اختزال طبيعة الإبداع المعقدة والذاتية إلى مقاييس حسابية.

في سياق متزايد من الاعتماد على الذكاء الاصطناعي، تتجلى أهمية فهم جوانب الإبداع وتفاصيله. علينا أن نتساءل: كيف يمكننا إذن تعزيز استخدام الذكاء الاصطناعي في المجالات الإبداعية مع أخذ هذه القيود في الاعتبار؟