هل تؤمن نماذج اللغة الكبرى (LLMs) بما تقول؟ تحقيق في تباين القرارات والمعتقدات

في عصر المعلومات، تُعتبر نماذج اللغة الكبرى (LLMs) أداة قوية تُستخدم في مجالات متعددة حيث تتطلب القرارات الصائبة بناء تصورات حول إحتمالية نتائج غير معروفة. ولكن تبقى مسألة حرجة: هل تتصرف هذه النماذج بصفة عقلانية وفقًا لمعتقداتها عند اتخاذ هذه القرارات؟ وكيف يمكننا التحقق من صحة ما تعلنه هذه النماذج حول معتقداتها؟

في هذا المقال، نقدم إطارًا نظرية قائمًا على نظرية القرار (decision theory)، يتيح لنا استنباط كل من التقديرات الاحتمالية وقرارات الوكلاء ومن ثم اختبار اتساقهما. تقنيتنا تعبر بشكل رسمي عما إذا كان من الممكن أن تقوم الأفعال التي ينتجها وكيل قريب من العقلانية بالاعتماد على الاعتقاد المحتسب كحقيقة واقعية.

ما قد يدهش البعض، هو أن هذا الإطار الافتراضي يوضح شروطًا قابلة للاختبار التجريبي، حتى دون افتراض أي شيء عن وظيفة المنفعة الخاصة بالوكيل.

عند تطبيق هذا الإطار على مهام تشخيص سريرية مُبسطّة، نجد أن المعتقدات التي تُبلغ عنها النماذج تظهر بوضوح بأنها ملخصات غير كاملة للمعلومات المستخلصة من قراراتها. ومع ذلك، تبقى الاختلافات صغيرة بالنسبة لأقوى النماذج.

إن تساؤلنا حول كيف نتحقق من صحة معتقدات هذه النماذج يعكس أهمية مراجعة القرارات التي تأخذها وكيف يمكن تعزيز الثقة في نتائجها. هذا الأمر يجعلنا نتساءل: ما رأيكم في دور المعتقدات في عمليات اتخاذ القرار لدى نماذج اللغة الكبرى؟ هل ترون أن هناك حاجة لمزيد من الشفافية؟ شاركونا آرائكم في التعليقات.