في عالم الذكاء الاصطناعي، تبرز نماذج اللغة الكبيرة (LLMs) كأداة قوية لفهم اللغة البشرية واستنتاج المعلومات منها. ومن بين الأساليب المستخدمة في تحقيق هذا الهدف، يتجلى استنتاج سلسلة الأفكار (Chain-of-Thought) كطريقة فعالة لتحفيز التفكير المنظم.

ولكن، على الرغم من النجاح المُشهود، تكشف التحقيقات الحديثة عن إخفاقات هذا الأسلوب في مهام معينة، مما يعيد فتح النقاش حول طبيعته الحقيقية. فهل يستند هذا النوع من الاستنتاج إلى أسس متينة، أم أنه مجرد سراب؟ في هذا المقال، نسعى لتقييم هذه القضية عبر عدسة توزيع البيانات.

لقد افترضنا أن استنتاج سلسلة الأفكار يعكس انحياز استقرائي منظم يتم تعلمه من البيانات الموجودة في التوزيع، مما يمكّن النماذج من توليد مسارات استنتاج تتناسب مع ما تم ملاحظته أثناء عملية التدريب. لذا، يعتمد فعالية هذا الاستنتاج بشكل رئيسي على طبيعة وفجوة التوزيع بين بيانات التدريب والأسئلة المقدمة.

وعلى هذا الأساس، قمنا بتحليل استنتاج سلسلة الأفكار من خلال ثلاثة أبعاد رئيسية: المهمة، الطول، والتنسيق. لاختبار فرضيتنا، قدمنا أداة معروفة باسم DataAlchemy، وهي بيئة مجردة وقابلة للتحكم بالكامل تهدف إلى تدريب نماذج اللغة الكبيرة من الصفر وفحصها تحت ظروف توزيع مختلفة.

من خلال تجارب دقيقة ومتسقة، كشفنا أن استنتاج سلسلة الأفكار يمكن أن يكون بمثابة سراب هش عندما يتم دفعه إلى ما هو أبعد من توزيعات التدريب، مما يبرز التحدي المستمر لتحقيق استنتاج حقيقي وقابل للتعميم.