في عالم الذكاء الاصطناعي، تلعب نماذج اللغات الضخمة (Large Language Models) دورًا مؤثرًا في العديد من التطبيقات، حيث يتم استخدامها للاستجابة للاستفسارات، إنتاج النصوص، وغيرها. ولكن، هل تساءلت يومًا عن رسالة الثقة التي تعبر عنها هذه الأنظمة؟

أظهرت دراسة حديثة أن الثقة المعلنة، والتي تتجلى في شكل درجات رقمية، تُستخدم على نطاق واسع لتقدير درجة عدم اليقين في النتائج. ومع ذلك، فإن تصميم مقياس الثقة ذاته (عادة ما يكون من 0 إلى 100) لم يتم فحصه بشكل كافٍ. وقد لفت الباحثون الانتباه إلى أن الخيار التصميمي لمقياس الثقة ليس محايدًا، بل يؤثر بشكل كبير على دقة النتائج المُعلنة.

عبر ستة نماذج لغات ضخمة وثلاث مجموعات بيانات، لوحظ أن الثقة المعلنة غالبًا ما تكون مشوشة، حيث تركز أكثر من 78% من الاستجابات على ثلاثة قيم عددية مستديرة فقط. وللتحقيق في هذا الظاهرة، تم تصميم التجارب لتلاعب مقاييس الثقة على ثلاثة محاور: دقة المقياس، مواضع الحدود، وانتظام النطاق.

تمكنت النتائج من إظهار أن مقياس الثقة من 0 إلى 20 يعزز الكفاءة المعرفية بشكل ملحوظ مقارنة بالشكل القياسي من 0 إلى 100. بينما أدت ضغوط الحدود إلى انخفاض الأداء، إلا أن تفضيلات الأرقام المستديرة استمرت حتى مع النطاقات غير المنتظمة. إن هذه النتائج توضح أن تصميم مقياس الثقة يؤثر بشكل مباشر على جودة عدم اليقين المُعلن عنه، ويجب أن يُعتمد كمتغير تجريبي أساسي في تقييم نماذج اللغات الضخمة.

ما رأيكم في تأثير تصميم المقاييس على دقة الذكاء الاصطناعي؟ شاركونا في التعليقات!