في عالم يتسارع فيه استخدام الذكاء الاصطناعي في المجال الطبي، يبرز موضوع تقييم أداء نماذج اللغة الكبيرة (LLMs) في اكتشاف الأخطاء السريرية كمحور اهتمام. وفقًا لدراسة جديدة منشورة على arXiv، تكشف النتائج أن الاعتماد على مقاييس إجمالية فقط، مثل دقة الموازنة (balanced accuracy) أو الدقة المتوازنة (F1)، قد لا يعكس الأداء الفعلي لهذه النماذج.

في تقييم أجرته الدراسة على 15 نموذجًا من نماذج اللغة الكبيرة، تم استخدام 4 مجموعات بيانات اختبار موحدة لاكتشاف الأخطاء عبر 3 لغات مختلفة. المفاجأة كانت أن 13 من بين هذه النماذج انتقلت من الأداء الجيد إلى الأسوأ، حيث لم تتمكن حتى من تجاوز مستوى التمييز العشوائي بين الأخطاء في الوثائق.

الأكثر إثارة للاهتمام هو اكتشاف أن الأنماط التحليلية للأخطاء تختلف بين اللغات؛ فبعض النماذج قد تعلن "عدم وجود أخطاء" بلغة معينة، بينما تتجاوز عدد الأخطاء بلغات أخرى. هذا يسلط الضوء على الفجوات في كيفية تعامل النماذج مع المعلومات.

علاوة على ذلك، قامت الدراسة بتقديم إجراء لتقييم الأدلة التي تستند إليها النماذج في نتائجها، لتظهر أن النماذج يمكن أن تحدد المحتوى المرتبط بالأخطاء بشكل جيد، ولكنها تفشل في إعطاء الحُكم الصحيح عند المقارنة بالنموذج النظيف.

تشير الدراسة إلى أن تصنيفات الدقة المتوازنة (F1) والدقة الثنائية يمكن أن تؤثر بشكل متضاد بسبب الانحياز الأساسي الموجود، مما قد يؤدي إلى تفضيل النماذج الأضعف عند التصنيف. لذا توصي الدراسة بإضافة تقييمات زوجية بجانب المقاييس الإجمالية عند إعداد التقارير عن الأداء لضمان تطبيق أكثر أمانًا للنمذجة اللغوية في السياقات السريرية.

للمزيد من المعلومات والكود المستخدم في التحليل، يمكنك زيارة المشروع على GitHub.