في الآونة الأخيرة، أصبح ظهور الهلوسة - أي إنتاج استجابات غير صحيحة معلوماتيًا - من أبرز التحديات التي تواجه نماذج اللغة الكبيرة (Large Language Models). ورغم أن هناك العديد من الأساليب الحالية قد حققت نتائج واعدة في تصحيح هذه الأخطاء، إلا أن أهم عيوبها تكمن في تطبيق التصحيحات بشكل عشوائي على كل مكون، مما يؤدي إلى إفساد النماذج الصحيحة أيضًا.

لذا، نقدم اليوم دائرية احتمالية جديدة تُعرف باسم PCNET، والتي تم تدريبها كعدة تقيم كثافة قابلة للتعقب على التيار المتبقي لنموذج اللغة. تتمثل الفكرة الأساسية في اكتشاف الهلوسات كأنماط هندسية شاذة على مجموعة واقعية من الحقائق، حيث يتم الحساب الدقيق لمعدل عدم احتماليات السلبية (Negative Log-Likelihood) من دون الحاجة إلى عملية العينة أو التحقق الخارجي أو تعديلات الأوزان كما تفعل التقنيات القائمة.

لإثبات فعاليتها، يتم استغلال PCNET كبوابة ديناميكية تميز بين الحالات المخفية الهلوسية والحقيقية في كل خطوة من خطوات التحليل. وهذه العملية تؤدي إلى المساهمة الرئيسية الثانية لدينا، والمعروفة باسم PC-LDCD (Probabilistic Circuit Latent Density Contrastive Decoding)، حيث يتم تفعيلها فقط عندما ينحرف الهندسة الكامنة عن المناطق الحقيقية، بينما تبقى الاستجابات الصحيحة سليمة.

وعند الاختبار على أربعة نماذج مختلفة تتراوح من 1 مليار إلى 8 مليار (1B to 8B) وبتطبيقها على أربعة معايير تشمل المحادثات الاستدلالية، أسئلة معرفية، فهم القراءة، والصدق، حققت PCNET نسبة اكتشاف الهلوسة القريبة من الكمال، حيث وصلت نسبة AUROC إلى 99%. علاوة على ذلك، حصلت PC-LDCD على أعلى الدرجات في المقاييس مثل True+Info و MC2 و MC3 على TruthfulQA، في ثلاثة من النماذج الأربعة، مقارنةً بأفضل المعايير الحالية، بينما تم تقليل معدل الفساد المتوسط إلى 53.7% وتحقيق معدل الحفاظ على المعلومات بنسبة 79.3%.

تُعتبر الطريقة المقترحة متاحة للجميع على منصة GitHub، مما يفتح آفاقًا جديدة في سباق تحسين أداء نماذج اللغة الكبيرة.