في عالم نماذج اللغات الضخمة (Large Language Models)، يمثل نجاح التطبيقات القابلة للجمهور تحديًا كبيرًا. حيث أن الأخطاء المحتملة قد تؤدي إلى آثار وخيمة على المستخدمين والمؤسسات، بينما تستنفذ الإنذارات الكاذبة الموارد البشرية المحدودة. في ظل غياب أي سياق موثوق أو وثيقة مرجعية، تسلط هذه الدراسة الضوء على إشارتين يمكن الوصول إليهما عبر واجهات برمجة التطبيقات للنماذج السوداء: الفوضى الدلالية، التي تقيس التضارب بين معاني الاستجابات المُعطاة، وعدم اليقين الناتج عن احتمالات كلمات النموذج.

يتمثل التحدي في أن هذه الإشارات يمكن أن تكون متكاملة في إخفاقها؛ حيث تصبح الفوضى الدلالية غير مفيدة عندما تتجمع الاستجابات على بُعد دلالي واحد، بينما قد يفتقد عدم اليقين الأخطاء المثبَتة بشكل متكرر. من خلال توسيع عملية كشف عدم اليقين المستندة إلى الكلمات عن طريق تجميع الإشارات على مستوى الكلمة من الاستجابات العينة بواسطة أسلوب TopK، نقيم أيضًا طريقة CoCoA، التي تجمع بين عدم اليقين في الاستجابة المستهدفة والاختلاف الدلالي.

بالإضافة إلى ذلك، نقترح وندرس طريقتين تحت إشراف: Gated، التي تقوم بتوجيه حالات الكتلة الواحدة إلى مصنف ميزات الكلمة المجمعة، وStacked التي تتعلم بشكل مشترك من عدم اليقين الدلالي وميزات الكلمة الأوسع. من خلال تقييمنا لسبع معايير، بما فيها خمسة معايير عامة (أربعة مجموعات نصية واستخراج شيكات مكتوبة متعددة النماذج) ومعيارين تم إنشاؤهما (ملخصات مالية وأسئلة طويلة النص)، باستخدام أربعة نماذج لغوية، أظهرت طريقة Stacked أفضل أداء في ما يقرب من نصف الحالات. في حين أن TopK وCoCoA يبقيان تنافسيين دون الحاجة إلى تسميات تدريب إشرافية، إلا أن عتباتها تتطلب معايرة دقيقة.

بشكل عام، لا توجد طريقة واحدة تُعتبر الأقوى، ولذلك نقيم الأداء وفقًا لمعدلات الإيجابيات الخاطئة من 1% إلى 15%، ونحلل حساسيتها للاختيارات في التوليد والمعايرة، ونستعرض التباين عبر خصائص مجموعة البيانات المختلفة.