في عصر تتزايد فيه تعقيدات المهام التي تتطلب من نماذج اللغات الضخمة (Large Language Models - LLMs) اتخاذ قرارات متعددة الخطوات، أصبحت الحاجة إلى فهم قدراتها على التفكير والتعليل الملائم ضرورة ملحة. ولتقييم هذه القدرات، قدم الباحثون مفهوماً جديداً يعتمد على هياكل البيانات كإطار عمل محوري.

توفر هياكل البيانات الأساس الذي تُبنى عليه الخوارزميات، مما يجعلها أداة مثالية لاستكشاف القدرة على التفكير الهيكلي. حيث تتضمن هذه القدرة فهم والتلاعب بالعلاقات مثل الترتيب والهرمية والاتصال، وهي عناصر حيوية داخل عملية التفكير الخوارزمي.

لذلك، تم تقديم DSR-Bench، وهو معيار جديد يتكون من 20 هيكل بيانات، و35 عملية، و4,140 حالة مشكلة. يتمتع هذا المعيار بتنظيم هرمي للمهام، بالإضافة إلى توليد وتقييم تلقائيين يقومان بتوفير تشخيص دقيق.

الكشف عن أداء 13 نموذجاً رائداً في هذا المجال، أثبت أن هناك قيوداً حرجة: حيث حقق النموذج الأفضل درجة 0,46 من 1 فقط في الحالات الصعبة. وعلاوة على ذلك، تم اختبار ثلاثة نماذج فرعية تستهدف الاستخدامات الأكثر واقعية، حيث أظهرت النتائج قصوراً واضحاً: أداء ضعيف في البيانات المكانية والمواقف الغنية بالسياق، وكفاح النماذج في تفكيرها الخاص حول التعليمات البرمجية الخاصة بها.

هذا البحث يثير تساؤلات عديدة حول إمكانيات نماذج اللغات الضخمة في التعامل مع المهام المعقدة. ما رأيكم في هذا التطور؟ شاركونا في التعليقات!