في عالم الذكاء الاصطناعي الحديث، تعاني نماذج الرؤية اللغوية (Vision-Language Models) من ظاهرة مثيرة للفضول تسمى "وهم الثقة الموزونة". إذ يمكن لهذه النماذج أن تعبر عن ثقة عالية حتى حينما تكون الإجابة المقدمة غير صحيحة. كيف يحدث هذا؟
وجدت دراسة جديدة أن هذه الظاهرة ناتجة عن عدم ارتباط الثقة المُعبر عنها بمسار التفسير الذي اتبعته النماذج. من خلال تقييم ثلاثة جوانب مختلفة: تباين المحتوى، تغطية الكلمات، وعوامل التردد الخاصة بالنموذج، تبين أن الثقة لا تتأثر بما يحتويه مسار التفكير الفعلي.
ولمعالجة هذه المشكلة، تم اقتراح مقياس جديد يُسمى "مقياس الإثبات المسار" (Trajectory-Grounding Score - TGS). يتضمن هذا المقياس نوعين: TGS-self الذي يقارن بين الثقة في حالتي الوصول إلى المسار الفعلي للنموذج وعدم الوصول إليه، وTGS-pair الذي يختبر ما إذا كان النموذج يمنح ثقة أعلى للمسارات الصحيحة مقارنة بتلك الخاطئة.
علاوة على ذلك، تم تطوير نظام جديد يُدعى "تقييم TGS" (TGS-Bench) الذي يشتمل على 10 معايير محددة تم التحكم فيها لتقييم مدى دقة تقييم الثقة في المسارات. تكشف النتائج أن تصنيفات التحقق التقليدية تختلف عن تصنيفات التحقق المسارية، مما يسلط الضوء على منطقة عمياء في ممارسات التقييم الحالية.
هذا البحث يفتح أبوابًا جديدة لفهم كيفية تحسين دقة نماذج الرؤية اللغوية، مما قد يؤدي إلى تحسينات كبيرة في تطبيقات الذكاء الاصطناعي في المستقبل. هل تعتقد أن هذه الابتكارات ستغير طريقة تعاملنا مع الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!
وهم الثقة الموزونة: كيف تؤثر النماذج اللغوية على تصنيف الثقة في الرؤية اللغوية؟
تكشف دراسة جديدة أن نماذج الرؤية اللغوية تعاني من مشكلة في تقييم الثقة، حيث يمكن أن تُظهر ثقة عالية رغم تقديم إجابات خاطئة. القانون الجديد يطرح طرق مبتكرة لتصحيح هذا الخلل.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...