في خطوة مثيرة للمجتمع الطبي وعالم الذكاء الاصطناعي، أظهرت دراسة حديثة أن نماذج اللغات الضخمة (Large Language Models) رغم تحقيقها درجات مرتفعة في اختبارات المعرفة الطبية، إلا أن أداءها في التفكير السريري يعاني من عيوب خطيرة. فقد طورت الدراسة إطار تقييم مبتكر يركز على دور النماذج في البيئات السريرية، خصوصاً في مجال الأورام الدموية.

تتطلب العملية السريرية من النماذج أن تطلب بنشاط البيانات السريرية عبر ثلاث جولات متتابعة قبل اتخاذ قرار بشأن التشخيص وخطة العلاج. ومع ذلك، أظهرت النتائج أن أفضل نموذج من بين 32 نموذجًا حقق دقة عامة لا تتجاوز 68%. وتشير الدراسة إلى أن الاستفادة من المعلومات، أي النسبة المئوية للبيانات المتاحة التي تم طلبها بالفعل، كانت المؤشر الأقوى على دقة التشخيص.

وبالرغم من أن النتائج تظهر تحصيلًا عالياً في معايير التفكير السريري، حيث سجلت النماذج 91% فوق العتبة المحددة، إلا أن ذلك لم يرتبط بدقة النتائج، مما يكشف عن وجود فجوة بين التبريرات المعقولة محليًا والاستنتاجات الصحيحة عالميًا. كما أظهرت تحليلات الأخطاء أن انعدام البحث عن المعلومات المناسب وتحيزات معرفية أخرى ساهمت في هذا الفشل، وهو ما يشبه سلوكيات الأطباء المبتدئين.

توضح هذه النتائج أن العائق الرئيسي أمام نماذج الذكاء الاصطناعي في مجال الأورام ليس المعرفة الطبية، بل الفشل المنهجي في البحث عن المعلومات تحت ظروف عدم اليقين.