تعتبر دراسة الذكاء الاصطناعي في مجالات التفكير والمنطق واحدة من أكثر المواضيع إثارة للاهتمام، وتكشف عن جوانب معقدة تتعلق بكيفية تعاطي النماذج الكبيرة مع المهام المختلفة. في دراسة جديدة تناولت نماذج التفكير الكبيرة (Large Reasoning Models - LRMs)، تمت ملاحظة ظاهرة مثيرة تتمثل في وجود فجوة ملحوظة بين القدرة على إنتاج الحلول وتقييمها.

عبر الاعتماد على مجموعة بيانات تدعى Valid-Answer-Invalid-Reasoning (VAIR)، تم اختبار هذه النماذج في حلول لمشكلات رياضية تتضمن عيوبًا منطقية بسيطة، ولكن مع حلول صحيحة. تشير النتائج إلى أن نماذج التفكير الكبيرة، على الرغم من إنتاجها للحلول بدقة قريبة من الكمال، تفشل في تقييمها بشكل فعال، محققة درجات تصل فقط إلى 48% في تقييم هذه الحلول.

هذه الفجوة تنبئ بالتحديات الراهنة في تصميم نماذج الذكاء الاصطناعي. بينما كانت درجة تقييم البشر أقل بنسبة 6% فقط عن قدرتهم على حل المشكلات، تظهر نماذج LRMs انحيازاً واضحاً نحو تأكيد الإجابة، بمعنى أنها تفضل إنتاج الإجابة ثم التحقق من صحتها، بدلاً من إدارة كل خطوة بشكل دقيق. وعند حدوث أي خلل في المنطق، تقوم هذه النماذج بخلق تبريرات رغم إدراكها للعيوب.

تنبيهات الخطوط المستقيمة (Linear probes) تدعم هذا الاكتشاف، حيث تظهر أن تفعيلات الـ LRM تحتوي على تمثيل ما للأسباب الصحيحة، لكنها تفشل في تمثيل الحلول بشكل صحيح عندما تكون غير صحيحة. إن القدرة على تغيير تمثيلات الإجابة النهائية تؤدي إلى تغييرات في أحكام النموذج، مما يبرز تأثير صلاحية الإجابة على انحياز التأكيد.

تتطلب هذه النتائج مراجعة شاملة لكيفية تدريب نماذج الذكاء الاصطناعي، فبينما تحفز معظم الطرق الحالية نماذج LRMs على تقديم وإنتاج تفكير صحيح نحو الإجابات الصحيحة، تبقى الحاجة ماسة لتطوير الأساليب التي تعزز قدرة هذه النماذج على تقييم الأسباب بشكل شامل.