تزايد دور نماذج اللغات الضخمة (Large Language Models) في مختلف التطبيقات، لكن الأمر يتطلب مزيداً من الدقة عند تقييم نتائجها. في السنوات الأخيرة، تم تطوير مجموعة من الأساليب لكشف الهلاوس التي قد تنتج عن هذه النماذج، والتي تعتمد بشكل كبير على تتبع عمليات التفكير (chain-of-thought reasoning) التي تسلكها.

لكن، هل نعتمد حقاً على عملية التفكير نفسها أم أننا نكتفي بدراسة المظاهر السطحية للإجابات النهائية؟ في بحث حديث، تم تقديم منهجية جديدة تحمل اسم "Controlled-Invariance"، تهدف إلى كشف هذه الفروقات المهمة من خلال اختبارين أساسيين.

الأول يسمى "Force"، حيث يتم استبدال الإجابة النهائية بكل إجابة صحيحة مع الاحتفاظ بتتبع التفكير. الثاني هو "Remove"، حيث تتم إزالة خطوات الإعلان عن الإجابة مع الحفاظ على مسار التفكير. هذا يعكس النوع الحقيقي للقوة التنبؤية، ويظهر ما إذا كانت تلك القوة تنبع من العوامل فائقة الجودة للإجابة بدلاً من البنية أو صحة التفكير الوسيط.

بعد السيطرة على هذه العوامل، تشير النتائج إلى أن الكشف الفعال لا يتطلب بالضرورة تمثيلات معقدة. تم تطوير أداة (TRACT) بسيطة تعتمد على ميزات مسار الكلمات (lexical trajectory features)، مثل اتجاهات التهذيب وديناميكية طول الخطوات وتوافق المفردات عبر الإجابات. تمكنت TRAC من تحقيق قوة رصد قوية، متنافسة بل وأحياناً متفوقة على الأساليب الحالية في مجموعة من الحالات.

تشير هذه النتائج إلى أن التحدي المركزي في الكشف الواعي من حيث التفكير ليس غياب الإشارات في المسار الاستدلالي، بل الفشل في عزلها عن مؤشرات النهاية.

ما رأيكم في هذه التطورات المثيرة في كشف هلاوس نماذج اللغة؟ شاركونا آرائكم في التعليقات!