اختبار إعادة الصياغة المنضبطة: كيف يُقيم التناسق المنطقي في نماذج اللغة الضخمة؟

تعتبر نماذج اللغة الضخمة (Large Language Models) التي تقود الابتكار التقني في عصرنا الحالي، تواجه تحديات مثيرة للإعجاب، أبرزها التناقض في استجاباتها. دراسة جديدة نشرت على موقع arXiv تعرض نتائج مثيرة حول قدرة هذه النماذج على الحفاظ على إجابات منطقية متسقة عبر إعادة صياغات متعددة.

في هذه الدراسة، تم تقديم اختبار تمهيدي يتضمن 350 عائلة من الأسئلة (1250 سؤالًا) لتعزيز فعالية (Controlled Reformulation Testing) أو اختصارًا CRTBench. يتضمن الاختبار استراتيجيات متنوعة مثل إعادة الكتابة العكسية والمزايا السلبية، وهو ما يُظهر مدى قدرة نماذج مثل GPT-5.4-mini وo4-mini على الاحتفاظ بتناسق منطقي.

وتبين النتائج أن نموذج GPT-5.4-mini قد حقق دقة أساسية تصل إلى 98.9% ولكن بفارق كبير في التناسق، حيث بلغت النسبة 60.3% فقط. بينما سجل نموذج o4-mini نسبة تناسق أفضل بواقع 96.9%.

هذا يؤكد أن ارتفاع الدقة لا يضمن بالضرورة قدرة النموذج على التفكير المنطقي، حيث أظهرت التجارب أن الفشل يتجمع في التحويلات غير البسيطة مثل إعادة الكتابة العكسية التي أظهرت فشلًا بنسبة 72.4% لنموذج GPT-5.4-mini.

تدل هذه النتائج على أن لتقييم التفكير المنطقي في نماذج اللغة الضخمة بعدًا أعمق مما هو متوقع، وأن الدقة وحدها ليست كافية. فالابتكار المستمر في تطوير أساليب اختبار جديدة لم يعد من الكماليات، بل أصبح ضرورة لإدراك فعالية هذه النماذج.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات.