في عالم الذكاء الاصطناعي وتحديداً في مجال نماذج اللغات الضخمة (LLMs)، يشغل سؤال 'متى يجب على نماذج اللغات الوثوق بتصحيحاتها الذاتية؟' العديد من الباحثين. حيث تلقي دراسة جديدة الضوء على مفاهيم التصحيح الذاتي والتوازن الصعب بين تحسين الإجابات والأخطاء المحتملة.

تتناول الدراسة مفهوم "التصحيح الذاتي الداخلي"، حيث يُطلب من النموذج تقويم إجابته دون تلقي أدلة خارجية جديدة. وقد أظهرت النتائج أن هذه الجولة الثانية من التصحيح يمكن أن تعيد تصحيح الأخطاء لكنها قد تقلب الإجابات الصحيحة أيضاً، مما يُبرز التحديات التي تواجه هذه النماذج. من خلال تحليل 29 نموذجاً مختلفاً، بما في ذلك BoolQ وGSM8K وCorr2Cause، تم قياس الانتقالات في الدقة بين الإجابات الأولية والمرممة.

تكشف الدراسة أن هناك تفاوتا كبيرا في سلوك التصحيح بين النماذج، مثل نموذج Llama-3.1-8B الذي تحسن بنسبة 25.5 نقطة مئوية على GSM8K ولكن في نفس الوقت، تسببت التعديلات في تغيير 19.1% من الإجابات الصحيحة إلى أخطاء. كما أظهرت دراسة منفصلة على BoolQ أن طريقة التعديل قد تعيد تحديد ميزان النجاح والفشل.

يتم مقارنة ثلاثة خيارات لتشغيل النموذج: إبقاء الإجابة الأولية، قبول التصحيح دائماً، واختيارياً تفعيل التصحيح استناداً إلى المؤشرات المتاحة بعد الإجابة الأولية. ويظهر البحث أن بعض الأساليب المعقدة في التصحيح يمكن أن تكون مفيدة في بعض الحالات بينما تؤدي السياسات الأبسط في حالات أخرى إلى نتائج أفضل.

تشير هذه النتائج إلى أنه يجب اعتبار التصحيح الذاتي الداخلي كسياسة تصحيح بدلاً من كونه جولة ثانية مفيدة بشكل موحد، ودعوته للتقييم ليس فقط من خلال التصحيحات التي يسترجعها ولكن أيضاً الأخطاء التي يقدمها. إن هذه الدراسة تؤكد أهمية الفهم العميق لكيفية تعامل نماذج الذكاء الاصطناعي مع تصحيحاتها، مما يفتح الطريق لبحوث مستقبلية يمكن أن تُحدث فارقاً في فعالية هذه النماذج.