باتت نماذج اللغات الكبيرة (Large Language Models) تحظى بثقة كبيرة في أداءها وكفاءتها، إلا أن سؤالًا يطرح نفسه: هل تدرك هذه النماذج ما لا تعرفه؟ للإجابة على هذا التساؤل، تم استخدام مفهوم فنون النزاهة المعرفية لتطوير مقياس جديد يقيّم مدى اعتراف نماذج اللغات الكبيرة بحدود معرفتها.

تم تقديم ما يُعرف بـ quot;مؤشر النزاهة المعرفيةquot; (Epistemic Honesty Quotient - EHQ)، وهو مقياس يشتمل على ثلاثة درجات قابلة للرصد عبر محورين أساسيين، وهما ضبط المعرفة والمواءمة الإجابة الجوهرية. ففي دراسة جديدة، تم بناء قاعدة بيانات تضم 3,000 سؤال تشمل أسئلة تتعلق بالكيانات الملفقة، والأحداث بعد نقطة القطع، والأسئلة الحقيقية ذات التخصص الضيق، والأسئلة المشروطة بالسياق.

أظهرت الدراسة تباينًا كبيرًا في النتائج بين النماذج المستخدمة، حيث تمكن 15 نموذجًا من إكمال البروتوكول بعد إجراء فحوصات معايير المؤهلات. كما تمت إعادة تحليل 14 نموذجًا بسبب وجود بيانات غير مكتملة في نموذج واحد. تبين أن هناك تباينًا واضحًا في نطاق نزاهة المعرفة، حيث تراوحت درجات EHQ بين 0.31 و0.81، رغم الأداء القوي للنماذج عند اختبار قدرة استناد الوثائق.

تشير النتائج إلى أن هناك تداخلًا قويًا في معايير ضبط المعرفة، في حين أن مواءمة الإجابة الجوهرية تختلف عبر النماذج ولا تتماشى دائمًا مع ضبط المعرفة. وعلى الرغم من أن هذا البحث يكشف عن اختلافات سلوكية غير مرئية عادةً في التقييم القائم على الدقة، فإنه يظهر أيضًا أهمية تكوين قاعدة البيانات وسلوك المزودي والثقة المتعمدة في تفسير النتائج.

هذا التطور في فهم كيف تتعامل نماذج اللغات الكبيرة مع معرفتها وحدودها قد يفتح آفاقًا جديدة في تطوير الذكاء الاصطناعي. ما رأيكم في هذا الاكتشاف؟ شاركونا آراءكم وتعليقاتكم!