في هذا السياق، تم تقديم إطار جديد يـُدعى
Elenchos، والذي سُمي على اسم أسلوب فحص سقراطي للمسائلة، ويهدف إلى قياس التفكير الاستدلالي كمسألة عكسية هيكلية. من خلال استخدام نظام رسمي مرجعي، مثل حساب اللّامدا، يجب على الوكلاء تحديد ما إذا حدثت تغييرات واستنتاج التعديلات القواعدية المسؤولة عن اختلافات الأداء الملاحظة.خلال التجارب، تم تقييم نماذج اللغة الضخمة عند مستويات متقدمة ومتوسطة، واكتشف الباحثون وجود انقسام مستمر في التحقق من التعديل والاستدلال: حيث كانت النماذج قادرة على التعرف على أن النظام قد تم تغييره، لكنها واجهت صعوبة في تحديد التعديلات الكامنة المسببة للاختلافات الملاحظة. وبشكل أكبر، تدهورت الأداء بشكل ملحوظ مع التعديلات المتداخلة، حيث كان بإمكان النماذج استنتاج فقط جزء من التحولات الأساسية.
تشير الأدلة الأولية أيضًا إلى أن الاستفادة من الوقت المستغرق في الاستدلال قد تكون محدودة، حيث لم تكن هناك تحسينات كبيرة إلا عند زيادة ميزانيات الاستدلال، مما يستدعي مزيدًا من التحقيق والتأكيد. إذن، هل ستتمكن نماذج الذكاء الاصطناعي من فهم الأسباب الخفية أم ستظل عاجزة؟
هذه النتائج تعكس تقدمًا مستمرًا في أبحاث الذكاء الاصطناعي، لكنها تبرز الحاجة إلى المزيد من الدراسة لفهم حدود هذه النماذج بشكل أعمق.