تعتبر القدرة على التفكير المجرد أحد المؤشرات الأساسية لذكاء نماذج اللغات الضخمة (Large Language Models) وقدرتها على استنباط القواعد المجردة وتطبيقها. ومع ذلك، يبقى قياس هذه القدرة بدقة تحدياً معقداً؛ فالمنهجيات الحالية تعتمد إما على التقييم اليدوي المكلف، مما يحد من نطاقها، أو تفرز نتائج تقيس الذاكرة بدلاً من التفكير الحقيقي.

لذا، تمثل A2RBench الحل الرائد الذي يتيح قياس هذه القدرة بشكل آلي، من خلال عملية تشمل generation (التوليد)، وexpansion (التوسع)، وevaluation (التقييم)، وanalysis (التحليل). في مرحلة التوليد، تقوم نماذج اللغات الضخمة بإنشاء مهام متنوعة تتطلب تفكيراً حقيقياً. بينما في مرحلة التوسع، تتم إعادة استخدام القواعد المعتمدة وتوسيع نطاق المدخلات لتوليد تنويعات جديدة، مما يحقق مستوى عالٍ من التوسع في المهام المولدة.

مع ذلك، قد تؤدي هذه العمليات إلى ظهور ما يعرف بـ 'الهلاوس'، ولذلك تم تطوير إطار نظري يضمن دقة النتائج من خلال التحقق البرمجي – أي اختبار ما إذا كانت العملية العكسية تعكس العملية الأصلية بدقة (cycle consistency) – مما يضمن الحصول على حلول فريدة.

عبر تقييمات موسعة على نماذج ذكاء اصطناعي رئيسية، توصل الباحثون إلى نتائج تحمل دلالات مثيرة: (1) تعاني نماذج اللغات الحالية من نقص جوهري في التفكير المجرد، حيث أظهرت نماذج النخبة أداءً أقل بكثير من البشر على مجموعة تمثيلية (39.8% مقابل 68.5%). (2) تتراجع هذه النماذج أيضاً بوضوح في تعقيد المهام ثلاثية الأبعاد مقارنة بمهام الأبعاد الأخرى. (3) بشكل غير متوقع، يمكن أن تُبسط المدخلات ذات التعقيد المعلوماتي العالي عملية التفكير.

إن A2RBench تمثل خطوة مثيرة في مجال الذكاء الاصطناعي، حيث تسعى إلى تحسين فهم النماذج لقدرات التفكير المجرد وكسر الحواجز التي تعيق تقدمها. فهل نحن على أبواب عصر جديد من الذكاء الاصطناعي القادر على التفكير بعمق؟ دعوا آراءكم تتدفق في التعليقات!