في عصر تتزايد فيه الاعتماد على أنظمة نماذج اللغات الضخمة (Large Language Models) كحكام في عمليات التقييم، يتصدر القلق بشأن موثوقية التقييمات جدول الأعمال. تظهر الأبحاث الجديدة أن تفضيلات الذات، أو الميل لتمييز المخرجات الخاصة بالنموذج، تؤثر بشكل كبير على نتائج التقييم.

إحدى الدراسات الحديثة تعالج هذه المسألة من خلال تغيير موضوع التقييم؛ بدلاً من الحكم على النصوص المولَّدة، قام الباحثون بتوجيه عشرة نماذج لغوية لتقييم اختيارات معايير السرد، وهي اختيارات لا تحمل سمات أسلوبية محددة للنموذج، لكنها تحتفظ بتوقيع مميز له.

أجريت تجربتان للحصول على نتائج مختلفة، حيث اختفت تفضيلات الذات في كثير من القياسات عندما تم التحكم في جودة الاختيار وصرامة التقييم. لكن المفاجأة جاءت عندما تم استخدام علامات الذات وآخرين، حيث تم تضخيم الدرجات للاختيارات الموسومة ذاتياً، في حين تم تقليصها للاختيارات الموسومة بآخرين، بغض النظر عن مصدر الاختيار الفعلي.

تقترح الدراسة نقطتين رئيسيتين:
1) يعتبر تعيين التأليف عاملاً مميزاً في انحياز تقييمات النتائج.
2) يمكن أن تكون المهام المفتوحة، التي لا تعتمد على حقائق ثابتة، أدوات مراقبة فعالة لدراسة سلوك الحكام من نماذج اللغات الضخمة.

يظهر البحث أن استخدام نماذج اللغات الضخمة كحكام ذا تأثير كبير على كيفية تقييم النتائج، مما يُحتم علينا التفكير في كيفية تحسين موثوقية هذه الأنظمة.

ما رأيكم في هذا التطور؟ شاركونا آراءكم في التعليقات.