تسعى نماذج اللغات الضخمة (Large Language Models - LLMs) لإظهار دقة متفوقة في نتائجها، لكن تبقى التساؤلات قائمة حول مدى موثوقيتها عند طرح نفس السؤال بصيغ مختلفة. في دراسة جديدة نُشرت على موقع arXiv، تم تحليل إجابات النماذج تحت سياقات محددة، مع التركيز على كيفية تأثير التحويرات اللغوية على جودة الأداء.

شملت الدراسة أربعة اختبارات و13 نموذجاً، مما كشف عن ارتباط كبير بين دقة الإجابات الدقيقة وصياغة الأسئلة. على الرغم من أن الدقة العامة قد تبدو مستقرة، إلا أن سلوك النماذج على مستوى العينة كان أقل استقرارًا، حيث أظهرت النتائج أن بعض الأسئلة قد تؤدي إلى إجابات صحيحة وأخرى خاطئة بناءً على كيفية صياغة السؤال، مع معدلات تباين تصل إلى أكثر من 23٪.

بالإضافة إلى ذلك، أظهرت الدراسة أنه حتى عند الإجابة بشكل صحيح على السؤال الأصلي، قد تكون الإخفاقات متكررة عندما يتعلق الأمر بالاستجابة لصيغ مختلطة، مما يشير إلى أن الاعتماد على المقاييس التقليدية للدقة قد يخفي عدم استقرار كبير. ومع ذلك، كان هناك أيضًا اكتشاف مثير، حيث وجدت النماذج أنها غالبًا ما تنتج إجابة صحيحة لصياغة واحدة على الأقل من السؤال، مما يشير إلى أن المعرفة الأساسية موجودة ولكنها تُسترجع بشكل غير منتظم.

تعتمد الدراسة على ملاحظة أنه يمكن تحسين الأداء من خلال استراتيجية بسيطة تتمثل في إعادة صياغة السؤال، مما يعزز قدرة النموذج على استرجاع المعرفة بشكل أفضل. هذه النتائج تقترح أن قياس الاستقرار عبر مدخلات مكافئة يمكن أن يوفر صورة أوضح لموثوقية نماذج اللغات الضخمة (LLMs) وقدرتها على التعامل مع الأسئلة بصيغ مختلفة.