ما وراء الدقة: تحليل الفجوات والتمييز الديموغرافي في تقييمات نماذج اللغة الكبيرة في المجال الطبي

في عالم الذكاء الاصطناعي، تُعتبر نماذج اللغة الكبيرة (LLMs) أداةً رئيسية، خاصةً عند استخدامها في المجال الطبي. إلا أن تركيزها على الدقة وحدها قد لا يكون كافياً لتقييم أدائها بشكل شامل. فقد أظهرت دراسة جديدة تم نشرها على موقع arXiv أن الدقة قد تتجاوز تأثيراتها الفعلية وتتجاهل الجوانب الأخرى الهامة مثل الفجوات العكسية (Counterfactual Validity) وrobustness الديموغرافية.

اختبرت هذه الدراسة ستة نماذج للغة على 150 سؤالاً من اختبار MedQA الخاص بتراخيص الممارسة في الولايات المتحدة، مستخدمةً اثنين من اختبارات التغيير الآلي لتقييم أدائها. تم تصميم اختبار الفجوة العكسية لاختبار قدرة كل نموذج على تقديم تغييرات طبية طفيفة يتطلبها الوضع السريرى، بينما اختبر اختبار القدرة على تحمل الفروق الديموغرافية تأثيرات الاختلافات السكانية في تقديم الإجابات.

من بين 900 محاولة لتقييم الفجوة العكسية، كانت هناك 228 إجابة صحيحة (25.3%) و672 إجابة غير صحيحة. وفيما يتعلق بالمقارنات الديموغرافية، تغيرت 1,097 إجابة من أصل 5,400 (20.3%). أذهلنا عدد الأعلام المتعلقة بالمعايير النمطية التي تم اكتشافها، حيث تم تحديد 3,128 علامة من ضمنها 1,932 في فئة "أخرى".

من بين النماذج، حقق نموذج MedGemma 27B أعلى دقة بنسبة 87.1% وأعلى درجة في اختبار الفجوة العكسية بنسبة 63.3% وأقل معدل لتغيير الإجابات (16.0%) ودرجة متوسّطة منخفضة في التباين الديموغرافي (0.169). لكن لا تزال دقته تتجاوز أدائه في اختبار الفجوات العكسية، مما يؤكد أن الأجوبة الصحيحة لا تضمن بالضرورة أداءً موثوقاً في المهام العكسية.

في المقابل، حقق نموذج OpenBioLLM أعلى معدل لتغيير الإجابات وأعلى مستوى من التباين الديموغرافي، بينما سجل نموذج GLM أعلى معدل للعلامات النمطية. تشير هذه النتائج إلى أن تقييم دقة الأداء، الفجوات العكسية، استقرار الإجابات، والتقاط الأدلة النمطية تتطلب اعتبارات مختلفة عند تقييم نماذج الذكاء الاصطناعي.

يجب التنبيه إلى أن كل الأحكام كانت آلية ولم تتوفر التحقق من قبل أطباء، مما يعني أن النتائج تدعم فحص السلامة ولكن لا تجزم بإمكانية الاستخدام السريري للنموذج.