في عالم الذكاء الاصطناعي، يتم توجيه نماذج اللغات الضخمة (LLMs) غالباً للرد على سؤالات تتعلق بغياب شيء ما من سجلات معينة. ولكن ماذا يعني هذا الغياب حقاً؟ مفهوم التفكير السلبي الحساس للكمال يبرز هنا، حيث يُسمح بالإجابة السلبية فقط عندما تغطي الأدلة نطاق الاستفسار بالكامل. فإذا كانت الأدلة غير كافية، ينبغي أن يبقى الجواب غير معروف.

لذا، تم تقديم نموذج CROWN-QA، الذي يتضمن CROWN-Synth وCROWN-Real. CROWN-Synth يعمل على توفير معلومات ثنائية موجهة، مما يثبت السؤال والحقائق المرصودة بينما يتغير تغطية الاستفسار فقط. بينما يعتمد CROWN-Real على تقييم محتوى مستندات فعلية مع تنوع في مستويات التغطية.

عند اختبار ثلاثة عائلات من نماذج اللغات الضخمة، ظهرت قرارات غير مستقرة في عملية الإغلاق، مع استعداد للنزعة نحو الإغلاق المفرط، مما يجعل من الصعب تمييز الإجابة السلبية المبررة (Certified-Negative) عن الإجابة غير الكافية (Unknown).

ومن الملاحظ أن ورقة العمل تسلط الضوء على فشل النموذج CROWN-Synth الذي يتسم بالتباين. فعلى الرغم من أن النماذج تعترف بالأدلة المكتملة ضمنياً، إلا أنها تعتبر الأدلة الجزئية كافية.

يساهم التخطيط (Prompting) في توزيع الأخطاء بين الإغلاق المفرط والإغلاق الناقص، بدلاً من حلها بشكل متسق. كما تشهد التقنيات المستخدمة في الحصول على الشهادات على العديد من الأخطاء التي تعود إلى سوء الفهم لتغطية الأدلة.

ويظهر CROWN-Real أن هذه التباينات في التغطية الجزئية تستمر حتى في محتوى المستندات الحقيقية، بينما تختلف قوتها وتوازنها بين الإغلاق المفرط والناقص بناءً على النموذج المستخدم والطلب والمصدر.

في النهاية، يبقى التساؤل: كيف يمكن أن تؤثر مثل هذه النتائج على مستقبل الذكاء الاصطناعي؟ هل نحن على وشك رؤية تحسينات كبيرة، أم أن التحديات لا تزال قائمة؟ شاركونا آراءكم في التعليقات!