في عالم الذكاء الاصطناعي (AI)، يعتبر قياس تطور التفكير من خلال السلوك ظاهرة شائعة تستخدمها الأنظمة لتحديد كفاءتها. ومع ذلك، هناك تساؤلات كبيرة حول مدى دقة هذه القياسات. في دراسة جديدة تغطي نظامًا عاملًا يحتوي على 30 مليون معلمة من القدرة على التفكير العميق، تم استكشاف العلاقة بين الأداء السلوكي والقدرة على معالجة المعلومات في عالم مغلق، تم تصميمه خصيصًا لاستنباط النتائج.

تبيّن الدراسة أن الفوارق بين مختلف الأسطح المستخدمة في التدريب تبيّن بوضوح قيودًا في كيفية قياس النمو. فعلى سبيل المثال، تحت نظام متجمد لهذا النمو، طُلب من النموذج إثبات قدرة ثلاث خطوات من خلال قياسات سلوكية، وقد تطلب ذلك 70 فترة من التقييم المنطقي في السطح الرمزي، مقارنة بــ 13,055 فترة على السطح اللفظي، مما يعكس فارقًا شاسعًا يصل إلى 186.5 مرة.

علاوة على ذلك، أظهرت القياسات الداخلية أن فحص الهوية المستقبلية للإجابات سجّل نتائج مشجعة حتى قبل الوصول للسلوك الأصلي. هذه النتائج توضح أن قياسات السلوك قد لا تمثل دائمًا المهارات المكتسبة. حيث أن بعضها قد يقدم نتائج دقيقة، بينما تشهد قياسات أخرى تباينًا كبيرًا.

في الختام، تشير هذه الدراسة إلى أن قياسات النمو السلوكي، على الرغم من شيوع استخدامها، لا يمكن الاعتماد عليها على أنها تؤشر بشكل موثوق على تفوق النظام الذكي. ومن هنا تبرز الحاجة إلى تدخلات سببية لتحسين آليات القياس وفهم الآثار المترتبة على التطورات المستقبلية.