هل تفسيرات نماذج اللغات الضخمة كافية؟ اكتشافات جديدة تعيد التفكير في الاعتماد على الشروح النصية

تعتبر نماذج اللغات الضخمة (Large Language Models) من الأدوات الرائدة في الذكاء الاصطناعي، حيث يتم استخدامها بشكل متزايد في مجالات تتطلب نتائج دقيقة ومعتمدة. ومع ذلك، تبقى مسألة فاعلية تفسيرات هذه النماذج محل جدل.

تمثل الشروحات النصية، مثل سلاسل التفكير (chain-of-thought) والتبريرات بعد الحدث (post-hoc rationales)، محاولات لتبرير القرارات التي تتخذها النماذج. لكن دراسة جديدة تُشير إلى أنها قد لا تكون كافية، أي أنها قد لا تحتوي على المعلومات اللازمة لتوضيح كيفية إنتاج النماذج لنتائجها.

يفتح هذا البحث آفاق جديدة لفهم كيفية تأثر كفاءة التفسيرات بتوزيعة المدخلات. حيث أظهرت النتائج أن كفاءة التفسير، المعروفة باسم ''الصلاحية التفسيرية الذاتية'' (self-consistent sufficiency)، قد تتغير اعتمادًا على كيفية صياغة المدخلات، وهو ما يتطلب تعريفًا دقيقًا لهذه المدخلات.

الأداة الجديدة المقترحة SCSuff تعتمد على المعلومات النظرية لتقيم كفاءة التفسيرات النصية، مما يتيح تقييمها دون الاعتماد على تحيزات مسبقة أو اختصارات. وقد أثبتت التجارب أن SCSuff تتماشى مع اختبارات التبديل المستهدفة، مما يشير إلى أن كفاءة التفسير تختلف باختلاف توزيع المدخلات.

علاوة على ذلك، أشارت التحليلات إلى أن تفسيرات بعض نماذج اللغات الضخمة عادة ما تكون غير كافية، مع ارتباط ضعيف بحجم النموذج أو دقته. الأمر الذي يشير إلى حاجة ملحة لتقييم وتطوير تفسيرات أكثر كفاءة. يُعد هذا البحث خطوة هامة نحو تحسين الشروح النصية للنماذج وبالتالي اعتماد أفضل على نتائجها.

لمعرفة المزيد عن هذا البحث المثير، يمكنكم زيارة لنك كود البحث.