في عالم الذكاء الاصطناعي، تعتبر الإبداعية علامة بارزة على الذكاء البشري. ومع تزايد استخدام نماذج اللغة الكبرى (Large Language Models) في إنتاج نصوص إبداعية، تبقى الحاجة ماسة لإطار شامل وموثوق يقيم إبداعيتها عبر سيناريوهات متعددة. هنا يأتي دور الإطار الجديد، CreativityPrism، الذي يعالج التحديات الحالية ويقدم حلاً مبتكرًا.

يهدف CreativityPrism إلى تقييم إبداع نماذج اللغة الكبرى من خلال دمج ثمانية مهام من ثلاثة مجالات: التفكير المبدع، الكتابة الإبداعية، والتفكير المنطقي. يتميز هذا الإطار بتصنيف يسلط الضوء على ثلاثة أبعاد من الإبداع: الجودة، الجدة، والتنوع. يستند إلى قضاة تقييم آلي موثوق بهم، وقد تم التحقق من مصداقيتهم مقابل ملاحظات بشرية.

أظهرت النتائج عند تطبيق CreativityPrism على 17 نموذجًا متقدمًا (State-of-the-Art) أن النماذج الكبرى تتفوق في مهام الكتابة الإبداعية والتفكير المنطقي بفارق 10% عن النماذج المفتوحة القابلة للنشر، لكنها لم تقدم أي ميزة ملحوظة في التفكير المبدع، وهو مجال يحتاج إلى المزيد من الاستكشاف. يكشف التحليل أيضًا أن الأداء العالي في بُعد إبداعي واحد لا يتعمم عادة على الأبعاد الأخرى، حيث تظهر مقاييس الجدة غالبا ارتباطات ضعيفة أو سلبية مع مقاييس أخرى.

بينما يُؤكّد هذا التشتت على أهمية وجود إطار مثل CreativityPrism، فإنه يدعو أيضًا الباحثين والمطورين إلى إعادة التفكير في كيفية تقييم إبداع نماذج اللغة الكبرى بطريقة شاملة وموثوقة.