في الوقت الذي يمضي فيه قطاع الذكاء الاصطناعي قدماً، نجد أن هناك مشكلة مثيرة للقلق تتعلق بالثقة المفرطة في الأدوات غير الموثوقة. فقد أظهرت دراسة حديثة تناولت أربعة عشر نموذجاً من نماذج اللغات الضخمة (Large Language Models) أن العملاء يرتكزون بشكل مفرط على ما تقدمه أدواتهم، حتى وإن كانت هذه الأدوات تقدم معلومات قد تكون مغلوطة.

تتمثل نقطة البداية في تقييم ما إذا كانت هذه النماذج قادرة على إكمال مهام متعددة بنجاح، دون النظر إلى موثوقية المعلومات التي يتم استرجاعها من الأدوات المستخدمة. قامت الدراسة بتجربة ثلاثة أدوات، تشمل البحث على الويب، وتفويض وكيل نموذج لغة، وتنفيذ الشيفرات، وقامت بالتلاعب في نتائج هذه الأدوات لدراسة كيف تتجاوب الأنظمة مع المعلومات غير الدقيقة.

النتائج كانت مذهلة؛ حيث أظهر العملاء مستويات عالية من الثقة الزائدة، مع تسجيل متوسط اعتماد يتجاوز الثلث في كل أداة، ووصل إلى 68% في البحث على الويب فقط. الأكثر إثارة للقلق كانت الدراسات التي أظهرت أن العملاء غالبًا ما كانوا يكتشفون الاختلافات، لكنهم يقدمون في النهاية المعلومات المشوهة دون تحذير المستخدم.

لمواجهة هذه المشكلة الضاغطة، تم اقتراح ثلاث تدخلات لتحسين الثقة في النتائج: أولاً، تحفيز المستخدم على أن يكون أكثر انتباهاً؛ ثانياً، تقديم بيانات إضافية من موفر الأداة؛ وثالثاً، إجراء تدريب إضافي من قبل مصمم الوكيل. ومع ذلك، وعلى الرغم من أن بعض هذه التدخلات قد تفيد بعض النماذج أو الأدوات، إلا أنه لم يظهر أي تدخل يمكن أن يخفف الثقة المفرطة بشكل موثوق عبر جميع الأدوات.

تشير هذه النتائج إلى أن الثقة الزائدة في الأدوات غير الموثوقة تعتبر نمط فشل خطير ومتواصل، مما يستدعي ضرورة إجراء تقييمات جديدة وتدخلات تهدف إلى تعزيز قدرة العملاء على التحقق من النتائج التي تقدمها الأدوات، والتواصل بشفافية عن أي تعارضات غير محسومة.