تُعتبر القدرة على التفكير المتعدد الخطوات (Multi-hop Reasoning) إحدى أكبر التحديات التي تواجه نماذج اللغات الضخمة (Large Language Models) اليوم. وعلى الرغم من أن هذه النماذج قد حققت نتائج قوية في مجموعات بيانات الأسئلة متعددة الخطوات، إلا أن تلك الأداءات تُخفي وراءها نقطتين ضعف رئيسيتين: الأولى هي الاعتماد على المعرفة الموجودة ضمن النموذج بدلاً من الالتزام بالسياق المُعطى، والثانية تتعلق باستخدام مختصات البيانات مثل إشارات الوثائق الفردية أو مطابقة الأنواع، مما يُخفف من الحاجة إلى تجميع الأدلة الحقيقية من عدة وثائق.

لكسر هذه الحواجز، تم تقديم مجموعة بيانات CRiT-QA (Counterfactual Reasoning with Traps)، التي تم تصميمها خصيصًا لتستجيب لهذه القيود. يعمل CRiT-QA على تحليل سلاسل التفكير الواقعي من خلال إدخال كيانات مضادة للحقائق، مما يستدعي نماذج الذكاء الاصطناعي لتجنب الاعتماد على المعرفة المُخزنة والالتزام بدقة بالسياق. كما يتم إضافة سلاسل مُضللة متعددة النقاط، وهي طرق تفكير معقولة لكن غير صحيحة تتفرع عند عدة حواجز. يتطلب هذا النموذج من الأجهزة اتباع العملية بالكامل بدلاً من الاعتماد على استراتيجيات سطحية.

أظهرت التجارب أن أداء نماذج اللغات الضخمة يتدهور بشكل كبير عند تطبيق مجموعة بيانات CRiT-QA مقارنةً بالمجموعات التقليدية، مما يكشف نقاط ضعفها في مواجهة الشروط المضادة للفهم والفخاخ المُضللة. لذا فإن CRiT-QA يمثل أداة تشخيص دقيقة لتقييم التفكير المتعدد الخطوات الحقيقي ويمثل أساساً لتطوير نماذج أكثر موثوقية تعتمد على الأدلة.