تدور الأمور اليوم حول كيفية تحسين دقة نماذج اللغة الكبيرة (LLMs) عند استخدامها في التنبؤات. بحث جديد عُرض في arXiv يتناول هذه القضية عن كثب، حيث يُظهر أن النماذج المُعدَّلة للتنبؤ يمكن أن تكون دقيقة، لكن لا تزال تعاني من ضعف في المعايرة. يعتمد هذا البحث على نموذج "Eternis-Forecaster 8B" المُستخدم في منصة "OpenForesight"، حيث تم تدريب أدوات لفحص تمثيلات النماذج الداخلية.

توصل الباحثون إلى نتائج مثيرة: تم تحقيق تحسين ملحوظ في المعايرة باستخدام تقنية تمثيل التجميع، وكانت النتائج متوافقة أيضاً مع نموذج "GLM-4.7-Flash" و"GLM-4.5-Air". علاوة على ذلك، تم تقييم موثوقية سلسلة التفكير (CoT) من خلال تحليل الأدلة وإجراء تغيرات تشتت، حيث أظهروا أن إزالة مصدر مؤثر قد يغير تنبؤ النموذج بينما يظل أثر التفكير دون تغيير.

فتحت الدراسة أيضًا أفقًا جديدًا من خلال استخدام هذه الأدوات ككاشفات للكذب، حيث تتبع تنشيطاتها التغيرات السلوكية بشكل أفضل من أثر التفكير. وفي 84% من الحالات، تمكنت هذه الأدوات من التنبؤ بتوجه التغيير حتى عندما تُخبئ سلسلة التفكير تأثير التغيير.

أخيرًا، تم الكشف عن أن التنبؤات تكون ثابتة غالباً قبل البدء في عمليات التفكير، حيث يمكن لاستجابة واحدة قبل التفكير أن تسترجع الإجابة والثقة، مما يوفر ما بين 30% إلى 47% من الرموز المولدة دون خسارة في الدقة. هذه النتائج تؤكد أن استكشاف التمثيلات الداخلية يمكن أن يكون أداة عملية لتحسين دقة ودور نماذج اللغة المخصصة للتنبؤ.