في عالم الذكاء الاصطناعي، تبرز أهمية نماذج اللغة الكبيرة (LLMs) وقدرتها على حل المشكلات من خلال ما يعرف بسلسلة التفكير (Chain-of-Thought). ولكن، هل تساءلت يومًا عن مدى موثوقية عملية التفكير التي تتبعها هذه النماذج؟

تظهر الأبحاث أن سجلات التفكير التي تولدها هذه النماذج قد لا تعكس دائمًا عملياتها الفعلية بدقة. فالتقنيات الحالية للكشف عن عدم موثوقية سلسلة التفكير تعتمد بشكل أساسي على إشارات خارجية، مثل مصداقية النصوص وتناسق الإجابات، متجاهلةً الأدلة الموجودة داخل النظام نفسه.

مع ظهور طرق تتبع الدوائر الحديثة، أصبح من الممكن الحصول على أدلة داخلية عن كيفية تدفق المعلومات عبر مكونات النموذج أثناء عملية التفكير. ومع ذلك، فإن بناء دوائر تفكير كاملة لسلاسل التفكير الطويلة يمثل تحديًا مكلفًا وصعبًا.

لذا، نقدم لكم إطار العمل المبتكر الذي يحمل اسم "مقياس التفاوت الداخلي-الخارجي المدعوم بالدائرة" (CIE-Scorer). الفكرة الأساسية هنا هي أن سجلات التفكير الموثوقة يجب أن تتماشى مع عملية حساب النموذج، بينما قد تتباعد السجلات غير الموثوقة عنها. يقدم CIE-Scorer طريقة فعالة لتتبع دوائر على مستوى الجملة باستخدام الرموز المعبرة، ويقوم ببناء رسوم بيانية للتفكير الداخلي والخارجي وتقيس التفاوت بينها باستخدام مسافة غارمو-واسرشتاين المدمجة.

أظهرت التجارب على أربعة مجموعات بيانات من FaithCoT-Bench أن CIE-Scorer يحقق أداءً رائدًا في المجال مع تقليل تكلفة إنشاء الدوائر، مما يوضح فعالية دمج إشارات التفسير الميكانيكي مع سجلات التفكير الخارجية لكشف عدم موثوقية سلسلة التفكير. بعد كل هذا، نتساءل: كيف ترون دور هذه التقنية في تحسين دقة نماذج الذكاء الاصطناعي في المستقبل؟ شاركونا آراءكم!