في عالم الذكاء الاصطناعي، تمثل نماذج اللغات الكبيرة (Large Language Models - LLMs) خطوة هامة نحو تحسين التواصل والتفاعل بين البشر والآلات. ومع ذلك، غالباً ما تنتج هذه النماذج إجابات غير صحيحة مع ثقة مبالغ فيها. يكمن أحد التحديات الرئيسة في أن هذه النماذج تمثل عدم اليقين من خلال توزيع تنبؤي واحد، مما يدمج الجهل المعرفي مع الغموض الحقيقي.

تقديمنا لنموذج Credal Large Language Models (CLLMs) يمثل طفرة جديدة في هذا المجال. يعتمد هذا النموذج على مجموعة من محولات LoRA، حيث يقوم بتوليد مجموعة ائتمانية تُظهر الاحتمالات الدنيا والعليا، مما يكشف عن تنوع التوزيعات التنبؤية القابلة للتصديق بدلاً من الانجراف نحو نتيجة واحدة فقط.

تتضمن هذه الطريقة قياسين تكميليين للالتزام. الأول، هو "الالتزام بالرمز" (Credal Token Commitment - CTC)، وهو قياس يتم في فضاء الرمز ويجمع بين الدعم الأدنى، وعرض الائتمان، وحجم التقاطع بدون الحاجة إلى توليد إضافي. أما الثاني، فـ"الالتزام الدلالي" (Semantic Commitment Consistency - SCC) الذي يمدد مفهوم الالتزام لفضاء المعنى باستخدام المكتملات التي تم أخذ عينات منها، مع قياس الفجوة بين الدعم على مستوى الرموز والدعم على المستوى الدلالي.

لقد تم تقييم نموذج CLLM على عدة مهام، مثل اكتشاف الهلوسة، والمعايرة، والتنبؤ الانتقائي، والاستدلال، عبر نماذج مثل Gemma-2-9B وLlama-3.1-8B وQwen2.5-7B. تبين أن نموذج CLLM هو الأفضل في دقة أسئلة الإجابة (QA) مع خطأ المعايرة المتوقع التنافسي. كما تابع CTC أفضل حوادث الهلوسة بمعدل AUROC ضمن 1.5 نقطة مئوية في معظم الإعدادات دون الحاجة إلى توليد إضافي. وعند التنبؤ الانتقائي بغطاء 80%، حقق نموذج CLLM مع SCC دقة تصل إلى 99.0% على مستوى OpenBookQA، بينما على ARC-Challenge، حقق نموذج CLLM مع ثقة Csem مستوى ECE أدنى من 0.6% عبر ثلاثة أطر.

هذا الابتكار يفتح آفاقاً جديدة في مجالات مثل التعلم العميق والتفاعل مع الذكاء الاصطناعي، مما قد يُحدث تحولات كبيرة في كيفية تعاملنا مع البيانات وعدم اليقين الذي قد ينجم عن أي نموذج لغة كبير. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.