مع ازدياد استخدام نماذج اللغات الضخمة (LLMs) لفهم تفضيلات الأشخاص من خلال استعلاماتها، أصبح من الضروري التحقق من دقة هذه التقييمات. في دراسة حديثة، تم تسليط الضوء على مشكلات عدم اتساق التقييمات المستندة إلى LLMs، مما يطرح تساؤلات جوهرية حول موثوقيتها.

تتطلب نماذج اللغات الضخمة استنتاج دالة منفعة (utility function) استنادًا إلى أحكام معينة، مثل المبلغ الذي قد يرغب الشخص في دفعه مقابل منتج معين. يفترض الباحثون أن هذه الأحكام متناسقة إلى حد ما، بمعنى أن دالة منفعة واحدة يمكن أن تعكس كل تقييماتهم. ولكن ماذا لو لم يكن هذا صحيحًا؟

للكشف عن هذه الحقيقة، قام العلماء بإجراء تجارب شملت تقييمات حول السفر والإقامة في الفنادق، ووجدوا أن الفجوات الكبيرة في التقييمات تشير إلى عدم اتساق مستمر بينها. على سبيل المثال، الاختلاف في المبلغ الذي يكون الشخص على استعداد لدفعه لمنتجين يجب أن يتطابق مع المبلغ الذي يجعل الشخص غير مكترث بتبديلهما؛ ولكن النتائج أظهرت خلاف ذلك.

تستخدم الدراسة اختبارات إحصائية وقياسات قابلة للتفسير لمعرفة مدى ابتعاد الاستجابات الفعلية عن الدالة الأمثل المتسقة. وتسلط نتائج هذه التجارب الضوء على ضرورة إعادة النظر في كيفية اعتمادنا على الأداة في تقديم فهم فعلي لتفضيلات الأفراد.

إن عدم الاتساق هذا في تقييمات LLMs يدعو الخبراء والمطورين إلى التفكير في كيفية تحسين هذه النماذج لتحقيق دقة أكبر في تقييم تفضيلات المستخدمين.

هل تعتقد أن هذه النتائج ستؤثر على كيفية استخدام نماذج الذكاء الاصطناعي في التقييمات المستقبلية؟ شاركونا آرائكم في التعليقات!