في عالم الذكاء الاصطناعي، تُعتبر تقديرات عدم اليقين (uncertainty estimation) عنصرًا أساسيًا عند نشر نماذج اللغة الكبيرة (Large Language Models) والنماذج متعددة الوسائط (Vision-Language Models) في السيناريوهات الحرجة، خاصةً عندما تكون معلمات النموذج غير متاحة (black-box). هنا، تأتي تقنية BiG-SURE كنجم جديد في هذا المجال.

تقنية BiG-SURE تعتمد على تقدير عدم اليقين استنادًا إلى توافق دلالات درجة الحرارة المتقاطعة. تعتمد هذه الطريقة على نماذج منخفضة الحرارة كمرشدات ثابته ديناميكية، بينما تستخدم نماذج عالية الحرارة لاستكشاف استجابات الذكاء الاصطناعي تحت تحولات مدخلات تحافظ على المعنى.

تقوم BiG-SURE ببناء رسم بياني ثنائي (Bipartite Graph) يتكون من النقاط المرجعية والاستكشافية مستخدمًا درجات التضمين (entailment scores) المعتمدة على التفسير اللغوي (NLI). وتحدد الثقة من خلال الطاقة الطيفية المربعة الطبيعية لهذه المصفوفة، بينما يتم تقديم عدم اليقين من خلال المتمم الخاص به.

تظهر تقنية BiG-SURE كيف يمكن أن تظل البروبي العالية الحرارة متوافقة دلاليًا مع الاعتقادات الثابتة في الظروف المنخفضة، مما يعزز دقة تقديرات عدم اليقين. نحن نختبر BiG-SURE عبر مهام متعددة مثل QA النصوص، وQA المتعددة اللغات، وQA متعددة الوسائط عبر عدة عائلات من النماذج. وتشير النتائج إلى أن BiG-SURE تحسن من متوسط AUROC في الروابط غير المأخوذة في الاعتبار، بينما تظل ذات طابع بسيط وغير إشرافي وقابلة للتطبيق في إعدادات النماذج المتسعة.