تشير الأبحاث الحديثة إلى وجود فجوة مثيرة بين قدرة نماذج اللغات الضخمة (LLMs) على فك تشفير الإجابات وبين اختياراتها النهائية. على الرغم من أن هذه النماذج تستطيع تحليل المعلومات وتقديم نتائج قابلة للفك والتفسير، إلا أنها قد تُخطئ في تقديم الإجابات الصحيحة في العديد من الحالات.

لقد قام الباحثون بتصنيف عمليتي "القراءة" و"الكتابة" أثناء معالجة الإجابات. حيث تسلط عملية القراءة الضوء على إمكانية فك تشفير الإجابة الصحيحة من الحالات الوسطية، بينما تركز الكتابة على ما إذا كانت الإجابة النهائية مصنفة أولاً بين الخيارات المتاحة.

باستخدام ثلاثة نماذج مختلفة من القراءة مع ضوابط عشوائية، أظهرت النتائج أن نسبة معينة من الأخطاء تظل قابلة للقراءة حتى مع اختيار رمز محتوى آخر. توضح النتائج أن التباين في الإجابة الناتجة يتأثر بهامش الاختيار، وهو الفرق بين قيمة الإجابة والبدائل الأقوى، ويتعين تقسيمها إلى دعم الإجابة مقابل دعم البديل.

من خلال استخدام دعم إجابة بمستوى نماذج ناجحة، يمكن استعادة اختيار الرمز الأول في الغالب. ومع ذلك، يظل البديل الأصلي متقدماً في العديد من الحالات. تشير التعديلات المختلفة على نفس القضية التي تحقق النجاح إلى دعم يمكن أن ينتقل إلى النسخ الفاشلة، مما يخلق تباينًا في النتائج عبر المخرجات المتأخرة.

في النهاية، نستنتج أن استرداد الرمز الأول لا يحل معظم الإجابات الخاطئة، مما يبرز صعوبة الفصل بين فك التشفير، الاسترداد، والإنتاج في نماذج اللغات الضخمة.