في دراسة حديثة نُشرت على منصة arXiv، تم تقييم موثوقية نماذج اللغات الضخمة (Large Language Models) في المجال الطبي، وتحديدًا نموذجين بارزين هما Google Gemini 2.0 وOpenAI ChatGPT-4o. ركزت الدراسة على ثلاث جوانب رئيسية: الاتساق عند إعادة صياغة المدخلات، والتأثر بالمحتوى غير ذو صلة، والاستجابة للسياقات السريرية.

تم تصميم 52 سيناريوًَا سريريًا، حيث تم تعديل كل سيناريو تحت ظروف مضبوطة لضمان دقة التقييم. تم تقييم الاتساق من خلال إعادة صياغة السيناريوهات مع تغيير ديموغرافي، وألفاظ، والتغيير في الفحص مع الاحتفاظ بجوهر التشخيص. أما بالنسبة للتأثر، فقد تم إضافة تفاصيل سردية غير ذات صلة ولكن معقولة، مع الحفاظ على الأدلة السريرية دون تغيير.

بالنسبة للوعي السياقي، تم إضافة معلومات عن تاريخ المريض، بيانات نمط الحياة، أو نتائج التشخيص لتحفيز تغيير في التشخيص المتوقع. قام مراجعي الأطباء بتقييم ما إذا كانت التغييرات الناتجة عنه مناسبة سريريًا.

الفاجعة كانت أن كلا النموذجين قدما تشخيصات متطابقة في جميع النسخ المماثلة والاستفسارات المتكررة، محققين نسبة اتساق تبلغ 100%. ومع ذلك، عند إضافة تفاصيل غير ذات صلة، تغير تشخيص Gemini في 40% من الحالات، بينما تغير ChatGPT في 30%. أجاب ChatGPT على السياقات بشكل أكثر تكرارًا من Gemini (77.8% مقابل 55.6%)، لكن جزءًا أكبر من تلك التغييرات كان غير مناسب سريريًا (33.3% مقابل 22.2%). بينما تم تقييم تغييرات Gemini الأكثر توافقًا مع السياق (66.7% مقابل 55.6%).

بشكل عام، لم يسلم أي من النموذجين من تأثيرات الاختراق غير المناسبة أو التحولات غير المبررة في التشخيص عند تغيير السياق. لذلك، قبل الاعتماد على نماذج الذكاء الاصطناعي في التشخيص، يتطلب الأمر إشراف الأطباء ووجود آليات حماية مُهيكلة لضمان سلامة القرارات الطبية.