هل يمكن لنماذج اللغات الضخمة رفض الإجابة عن الأسئلة التي لا تعرفها؟ اكتشفوا قدرة الرفض المعرفي!

تعتبر نماذج اللغات الضخمة (Large Language Models) من أكثر التقنيات تقدمًا في مجال الذكاء الاصطناعي، لكنها تواجه تحديات عدة عندما يتعلق الأمر بالإجابة عن الأسئلة. إحدى القضايا المهمة هي قدرتها على رفض الأسئلة التي لا تمتلك المعرفة الكافية للإجابة عنها، وهو ما يُعرف بالرفض المعرفي (knowledge-aware refusal).

وفي هذا السياق، تم تقديم مقياس جديد يُعرف بمؤشر الرفض (Refusal Index - RI)، والذي يقيس بدقة كيفية قدرة نماذج اللغات الضخمة على رفض الأسئلة التي لا تعرفها. يُعرَّف RI على أنه ارتباط رتب سبيرمان (Spearman's rank correlation) بين احتمالية الرفض واحتمالية الخطأ.

ليس ذلك فحسب، بل تمثل طريقة التقييم الجديدة التي تعتمد على معالجة ثنائية خفيفة الوزن. إذ تتطلب فقط قياس معدلات الرفض عبر تجربتين قياسيتين. وقد أظهرت التجارب الواسعة التي شملت 16 نموذجًا و5 مجموعات بيانات أن RI يوفر تقييمًا دقيقًا لقدرة النموذج على الرفض المعرفي.

تتمثل أهمية RI في أنه يعطي نظرة ثاقبة حول سلوك الرفض لنماذج اللغات الضخمة. فعلى الرغم من تحقيق هذه النماذج لدقة عالية في المهام الواقعية، إلا أن سلوكها في الرفض قد يكون غير موثوق وهش. باختصار، إن فهم كيفية تفاعل النموذج مع الأسئلة المجهولة قد يعزز من موثوقية المعلومات المقدمة ويزيد من ثقة المستخدمين في أدوات الذكاء الاصطناعي.

ما رأيكم في هذه القدرات الجديدة لنماذج اللغات الضخمة؟ شاركونا في التعليقات.