هل يمكن لنماذج اللغة الكبيرة (LLMs) تحقق دقة تشخيصات طبية مثل الخبراء؟

في عالم الطب الحديث، يُعتبر التقييم الفعال لنظم الذكاء الاصطناعي الطبية تحدياً يُعيق التقدم. دراسة جديدة أظهرت إمكانية استخدام نماذج اللغة الكبيرة (LLMs) كبديل لتقييم الشهادات الطبية التي يقدمها خبراء محترفون. تم تقييم أداء لجنة مكونة من ثلاث نماذج متقدمة، حيث قامت بمعالجة 3333 تشخيصاً من 300 حالة في مستشفيات الدول ذات الدخل المتوسط.

تمت مقارنة أداء النموذج مع تقييمات اللجان الطبية والخبراء المستقلين. وقد شملت عملية التقييم أربعة محاور رئيسية: التشخيص، التشخيص التفريقي، التفكير السريري، ومخاطر العلاج السلبية.

نتائج الدراسة كانت مثيرة للاهتمام:
(i) أظهرت نتائج لجنة LLM أن الدرجات كانت أدنى من تلك التي منحتها لجان الخبراء،
(ii) بالرغم من ذلك، فقد أظهرت توافقاً جيداً مع تقييمات الخبراء، متجاوزه بذلك أداء لجان إعادة التقييم البشرية،
(iii) كانت احتمالية الأخطاء الشديدة أقل في نماذج LLM مقارنةً بلجان إعادة التقييم،
(iv) أظهرت لجنة LLM توافقاً ممتازاً مع ترتيب لجان الخبراء الأساسية.
(v) الأهم من ذلك، أن نماذج LLM لم تُظهر أي تحيز تجاه نماذجها الخاصة في التقييم، مما يعكس حياديتها.

وبفضل استخدام طرق تعديلية متقدمة، يصبح بإمكان لجنة LLM تحديد التشخيصات التي تحتمل حدوث أخطاء كبيرة، مما يوفر فرصة للمراجعة الدقيقة من قبل خبراء القطاع.

ختاماً، تقدم هذه الدراسة أدلة قوية على أن لجنة LLM المعايرة يمكن أن تكون مؤشراً موثوقاً لتقييم الخبراء في سياقbenchmarking الذكاء الاصطناعي الطبي.