من العمق إلى الاتساع: تقييم القدرة على الربط في نماذج اللغات الضخمة!

شهدت نماذج اللغات الضخمة (LLMs) تطورات بارزة في إنجاز المهمات التي تتطلب سلاسل استدلال طويلة ومعقدة، مما يبرز مفهوم "عمق الاستدلال". ومع ذلك، فإنه يوجد جانب آخر مهم لكنه لم يُستكشف بشكل كافٍ، وهو "عرض الاستدلال". يشير هذا إلى القدرة على استكشاف اتجاهات دلالية متعددة في وقت واحد، ودمج الأدلة الناتجة لإنتاج إجابة متماسكة.

لتقييم هذا الجانب، تم تقديم معيار جديد يسمى MPAR-Bench، وهو معيار ثنائي اللغة (الإنجليزية والصينية) يركز على تطوير "الربط متعدد النقاط". يستلهم هذا المعيار من لعبة تعاونية تُعرف باسم "Just One"، حيث يُطلَب من النموذج استنتاج هدف مخفي من مجموعة من الأدلة المتنوعة التي تم إنشاؤها بشكل مستقل.

قمنا بتطوير 1,000 عنصر باستخدام منصة توليد الأدلة متعددة الوكالات، مع تصفية التنوع القائمة على الاندماج، وتحقق بشري. بينما يتم سحب مساحة الإجابة من قوائم كلمات عامة، يتم إنتاج كل مجموعة أدلة من الصفر.

علاوةً على دقة المطابقة الدقيقة، نقوم أيضًا بتقييم النماذج باستخدام قياسات متعددة مثل الدقة، دقة ANLS، تشابه التضمين، والتحقق من آثار التفكير، بالإضافة إلى أربعة عوامل تبعث على التقلبات: تغطية الأدلة، خلط الترتيب، حقن المشتتات، والأدلة متعددة الخطوات. وجدنا أن هذه التغيرات تؤدي إلى تقليل الدقة بمعدل يتراوح ما بين 9-18 نقطة مئوية في الإنجليزية و5-12 نقطة في الصينية. تُحسن طريقة التفكير دقة النماذج لكن لا تقلل دائمًا من حساسية التغيرات.

يشير تحليل الحالة أيضًا إلى أن التفكير الممتد يمكن أن يقلب الفرضيات الصحيحة في البداية. هذه النتائج توضح أن زيادة عمق الاستدلال لا تعني بالضرورة تحسين عرض الاستدلال، مما يجعل من الضروري سبر أغوار أبعاد جديدة من الذكاء الاصطناعي.