تقييم المُقيّم: كيف تُحدث المقاييس الصادرة عن نماذج الذكاء الاصطناعي ثورة في تلخيص النصوص؟

في عصر تتفجر فيه المعلومات، تصبح تقنية تلخيص النصوص تلقائيًا من الأدوات الحيوية لتحسين كفاءة استهلاك المعلومات. تعتمد هذه التقنية على تقييم تلقائي سريع لتحديد جودة نماذج التلخيص، سواء كانت هذه النماذج من صنع الإنسان أو من تطوير نماذج اللغات الضخمة (Large Language Models) كوسيلة للحكم. \n \n ومع ذلك، من الضروري إجراء تقييم شامل لضمان دقة هذه التقنيات في عكس الأحكام البشرية. في دراسة مبتكرة، قام الباحثون بتوسيع تقييم التلخيص إلى ما هو أبعد من اللغة الإنجليزية من خلال إنشاء مجموعة بيانات جديدة تُعرف باسم مجموعة بيانات تقييم تلخيص متعدد اللغات (BASSE). \n \n تحتوي هذه المجموعة على 2040 ملخصًا تم تقييمها من قبل مُقيّمين بشريين، تم توليدها إما يدويًا أو بواسطة خمسة نماذج لغوية ضخمة (LLMs) باستخدام أربعة تنبيهات مختلفة. تم تقييم كل ملخص وفقًا لخمس معايير رئيسية تشمل: التماسك، الاتساق، السلاسة، الصلة، وما يُعرف بنموذج 5W1H (من، ماذا، أين، لماذا، متى، وكيف). \n \n بعد ذلك، تم قياس أداء المقاييس التلقائية ومعايير نماذج LLM كقضاة. وقد أظهرت النتائج أن نماذج القضاة الاحتكارية تُظهر أعلى توافق مع الأحكام البشرية، متبوعة بمقاييس تلقائية خاصة بالمعايير، بينما تعاني نماذج القضاة مفتوحة المصدر من أداء ضعيف. \n \n يُظهر هذا البحث تقدمًا واضحًا في فهم كيفية تحسين الجودة والفائدة من تقنيات تلخيص النصوص، مما فتح الآفاق لمزيد من الإنجازات في مجال الذكاء الاصطناعي.