في عصر الذكاء الاصطناعي، أصبحت نماذج اللغة الضخمة (Large Language Models) تلعب دورًا متزايد الأهمية في تفسير النتائج التي تنتجها أنظمة الذكاء الاصطناعي. ولكن، هل يمكن الاعتماد عليها بشكل فعلي لنقل المعلومات الاحتمالية بدقة في اللغة الطبيعية؟

أجرى باحثون دراسة تناولت تسعة من نماذج اللغة الضخمة، محاولين تقييم مدى قدرتها على تقديم تفاصيل موحدة عند تلقي مدخلات متطابقة. ضمن نظام تقييم ذو مرحلتين، انتج نموذج علوي نتائج احتمالية تم وصفها من حيث الاحتمالية وعدم اليقين، وكان يجب على نماذج اللغة الضخمة اختيار وصف لفظي مناسب لكل حالة.

لإجراء هذه التقييمات، استخدم الباحثون توزيعة بيتا (Beta distribution) التي تمثل النتائج المحتملة استنادًا إلى معلمات مخصصة، مثل الوضع (mode) وعدد العيّنات السابقة. بعد ذلك، تم إرسال الطلبات لنماذج اللغة الضخمة لتفسير النتائج عبر ستة سياقات مهنية مع عشرة إعدادات حرارة، وتم تكرار كل تجربة عشر مرات.

الأهم من ذلك، كشفت النتائج أن نماذج اللغة الضخمة تبين اتساقًا في وصف النتائج، لكنها تعاني من عدم دقة في التعامل مع حالات عدم اليقين، حيث كانت أداؤها على مهام الاحتمالية أقوى بكثير من مهام عدم اليقين. ورغم تحسين الإحصائيات الملخصة المقدمة للنماذج، إلا أن المشكلة الأساسية تتواجد في خطوة التعبير اللفظي، ما يشير إلى أن هذه الأدوات لا تزال غير موثوقة كأدوات مستقلة لنقل المخاطر في التنبؤات الاحتمالية.