في الآونة الأخيرة، تمحور الكثير من النقاشات حول كيفية تقييم موثوقية سلسلة التفكير (Chain-of-Thought) في نماذج الذكاء الاصطناعي. باستخدام مقياس ميزات التحيز (Biasing Features)، تم تصنيف بعض سلاسل التفكير على أنها غير موثوقة إذا ما أغفلت تلميحًا تأثر به التنبؤ. ومع ذلك، نرى أن هذا المقياس يعتمد على مفهوم ضيق للموثوقية، مما يخلط بين عدم الموثوقية ونقص المعلومات، حيث يتطلب الأمر ضغط بيانات كبير لتحويل حسابات المحولات الموزعة إلى سرد واضح باللغة الطبيعية.

تظهر الأبحاث الحديثة، خاصة في مهام التفكير المتعدد القفزات مع النماذج الموجهة بالتعليم، أن العديد من سلاسل التفكير التي تم تصنيفها على أنها غير موثوقة قد تم الحكم عليها بالموثوقية وفقًا لمقاييس أخرى، حيث تتجاوز هذه النسبة 50% في بعض النماذج. باستخدام مقياس جديد يسمى faithful@k، يتضح أن زيادة ميزانية الاستنتاج تُسهم بشكل كبير في ظهور الكلمات الدالة (حتى 90% في بعض الإعدادات)، مما يشير إلى أن العديد من الحالات التي تبدو غير موثوقة ناتجة عن قيود صارمة على عدد الرموز.

وفقًا لتحليل الوساطة السببية (Causal Mediation Analysis)، نستطيع أن نرى أن حتى التلميحات غير المصرح بها يمكن أن تؤثر بصورة سببية على تغييرات التنبؤ من خلال سلسلة التفكير. لذا، يُنصح بعدم الاعتماد فقط على تقييمات تعتمد على التلميحات، وندعو إلى مجموعة أدوات تفسير أوسع تشمل مقاييس الوساطة السببية ومقاييس التكرار.

نؤكد أنه ليس كل سلاسل التفكير موثوقة، ولكن غياب الكلمات الدالة وحده لا يُثبت عدم الموثوقية. هذا يعيد فتح النقاش حول كيفية فهمنا وتقييمنا لنماذج الذكاء الاصطناعي، مما يتيح لنا الفهم الأعمق لأدواتنا التقنية.