اختبار موثوقية نماذج اللغة: أهمية تدقيق الأداء في بيئة موثوقة

تشهد نماذج اللغة (Language Models) تطوراً ملحوظاً في قدرتها على تقديم الاقتراحات، ملاحظة ردود الفعل الخارجية، وشرح سلوكياتها. ولكن، هل تعكس تقارير هذه النماذج بالفعل واقع أدائها؟ هذه الأسئلة كانت محور دراسة جديدة قدمت طريقة تدقيق بيئي تضمن قياساً دقيقاً لكل اقتراح يتم تقديمه.

في الدراسة، قام الباحثون بتشغيل نموذج لغوي ضمن بحث تطوري يُعرف باسم Contexto، حيث تم فيه تقييم كل تخمين وفقًا لمستوى دقيق من النجاح، دون الحاجة إلى التعليق البشري. أظهرت النتائج التي اجتازت 200 جولة عبر خمس تكوينات وثلاث عائلات من نماذج اللغات أن التقارير الذاتية لم تكن تعكس النجاح الفعلي، بل أظهرت مبالغات تتراوح بين 4.8 إلى 9.3 مرة.

اختبار ثلاثة افتراضات رئيسية حول تقارير الثقة أظهر فشلاً واضحاً؛ حيث كان الافتراض بأن الثقة المعلنة متناسبة مع النتائج الحقيقية، وأن النتائج المستندة إلى الوراثة تؤثر على الاقتراحات اللاحقة، بالإضافة إلى أن اختيار النماذج المحسنة سيحسن من جودة التقارير. لكن التحليلات أظهرت أن جميعها لم تُثبت فعاليتها.

تناقش الدراسة العواقب المترتبة على استخدام هذه النماذج، حيث يجب اعتبار تقارير الوكلاء كادعاءات تحتاج إلى التحقق في سياق البيئة، بدلاً من كونها أدلة على موثوقية هذه الأنظمة.