في عصر يعتمد فيه الكثيرون على نماذج اللغة (Language Models) لاتخاذ قرارات حاسمة تتعلق بحياتهم، يبرز التساؤل: هل يمكن الوثوق في تلك التنبؤات؟ دراسة جديدة نُشرت على موقع arXiv تسلط الضوء على التحديات الكبيرة التي تواجه موثوقية هذه النماذج.

تتعلق هذه الدراسة بالتقييم الدقيق لتماسك التنبؤات الاحتمالية (Probabilistic Forecasts) التي تقدمها نماذج اللغة. حيث اعتمد الباحثون على نظرية وضعها العالم دي فنيتي (de Finetti) لتطوير منهجية لفحص مدى تماسك توقعات هذه النماذج. ولتنفيذ ذلك، قاموا بجمع تنبؤات لمجموعة من الأحداث المستندة إلى بيانات عوائد الأسهم.

استخدم الباحثون برامج خطية لحساب أكبر ربح ممكن يمكن للمضارب تحقيقه من خلال المراهنة ضد الاحتمالات التي تولدها النماذج، وقد استخدم هذا الربح كمقياس لمدى عدم التماسك. الأهم من ذلك، أن هذه المنهجية لا تتطلب تسمية النتائج، مما يعني أنه يمكن تقييم التماسك حتى في الحالات التي لم تُرصد فيها النتائج بعد.

النتائج كانت مثيرة للقلق، حيث أظهرت وجود درجة كبيرة من عدم التماسك في التنبؤات الناتجة عن نماذج اللغة. وبالأخص، تزداد هذه الحالة كلما كانت العلاقات المنطقية بين الأحداث أكثر تعقيدًا. كما أن التفاصيل السياقية غير ذات الصلة كانت تؤدي إلى زيادة عدم التماسك بشكل كبير.

في ختام الدراسة، ناقش الباحثون كيف يمكن أن تسهم استراتيجيات التدريب البديلة في تحسين التماسك الاحتمالي، وهو أمر يمكن أن يحدث فرقًا كبيرًا في كيفية اقتناء المعلومات من هذه النماذج في المستقبل.

في ظل هذه النتائج، يبقى السؤال: ما مدى موثوقية المعلومات التي نحصل عليها من نماذج اللغة؟ شاركونا آراءكم في التعليقات.