يمثل الذكاء الاصطناعي (AI) ثورةً في الرعاية الصحية، مع ظهور نماذج لغوية ضخمة (Large Language Models) تظهر إمكانية كبيرة في تحسين جودة الرعاية الصحية. ومع ذلك، تظل هناك مشكلات تتعلق بموثوقية المعايير المستخدمة لتقييم هذه النماذج. إذ إن العديد من هذه المعايير تفتقر إلى الدقة السريرية وإدارة البيانات بشكل مكافئ ومعايير تقييم موجهة نحو السلامة.

لمعالجة هذه القضايا، تم تقديم MedCheck، وهو إطار تقييم يعتمد على دورة حياة معيارية صمم خصيصًا لمجال الرعاية الصحية. يقوم هذا الإطار بتفكيك عملية تطوير المعايير إلى خمس مراحل متصلة، بدءًا من التصميم إلى الحوكمة، ويقدم قائمة شاملة تحتوي على 46 معيارًا مصممة خصيصًا للبيئة الطبية.

عبر استخدام MedCheck، تم إجراء تقييم عميق لـ 53 معيارًا طبيًا لنماذج الذكاء الاصطناعي، وكشفت النتائج عن مشاكل منتشرة على نطاق واسع، بما في ذلك فشل المعايير في الربط مع الممارسات السريرية، والأزمات المتعلقة بنزاهة البيانات بسبب مخاطر التلوث غير المُدارة، ونقص التركيز على أبعاد تقييم السلامة المهمة مثل متانة النموذج ووعي عدم اليقين.

بناءً على هذه النتائج، يعُد MedCheck أداة تشخيصية للمعايير الحالية ودليلًا عمليًا لدعم نهج أكثر معيارية وموثوقية وشفافية في تقييم الذكاء الاصطناعي في مجال الرعاية الصحية.