في خطوة جديدة نحو فهم أفضل لعمليات استدلال الذكاء الاصطناعي، تم اقتراح استخدام "رصد سلسلة التفكير" (Chain-of-thought monitoring) كوسيلة لمراقبة أداء نماذج الذكاء الاصطناعي. وبدلاً من تقديم إجابات مرجعية موثوقة للمراقبين، طرحت دراسة جديدة تساؤلات تتعلق بتأثير الوصول إلى هذه الإجابات على دقة التحقق من الاستدلالات.

جمعت الدراسة الحالية 237 حلاً لأسئلة فيزياء من "الامتحان الأخير للبشرية" (Humanity's Last Exam) وعددها 79، مستخدمة ثلاثة نماذج من طليعة الذكاء الاصطناعي، وكانت النتائج بدون أخطاء مُدخلة. تمت تسمية دقة الإجابة النهائية والخطوة الخاطئة الأولى بشكل مستقل، مما أضفى طابعاً دقيقاً على المراقبة. تم تنفيذ تقييمات عمياء من قبل 8 من مراقبي نماذج الذكاء الاصطناعي، حيث تم تقديم الإجابات إما دون تحقق أو بعد التزام أعمى.

أظهرت النتائج أن التحقق من صحة الإجابات يؤدي إلى زيادة ملحوظة في الدقة المتوازنة (Balanced Accuracy)، حيث ارتفعت من 0.637 إلى 0.796، بينما ارتفعت نسبة الدقة في تحديد الخطأ الأول من 0.261 إلى 0.379. لكن، أظهر تحليل الخطوط الحرجة أن الوصول إلى الإجابات لا يضمن دقة الاستنتاجات، مما يدعو للقلق في سياقات الأمان المتعلقة بالذكاء الاصطناعي.

إن هذه الدراسة ليست مجرد تقييم لأداء نماذج الذكاء الاصطناعي، بل تحذر من التحديات المتعلقة بفهم كيف أن استنتاجات قد تبدو صحيحة لكنها تحتوي على أخطاء حقيقية. فالمراقبة قد لا تكون قادرة على تحديد العيوب الحقيقية في الحجج المقدمة، مما يعزز الحاجة إلى توخي الحذر في تقييم أداء تلك النماذج.

في ختام الدراسة، تبين أن الوصول إلى إجابة صحيحة لا يعني بالضرورة أن العملية التي أدت إليها كانت سليمة، مما يسلط الضوء على أهمية تحسين استراتيجيات التحقق في الذكاء الاصطناعي.