تُظهر نماذج اللغات الضخمة (Large Language Models) تقدمًا كبيرًا في معالجة المعلومات الطبية، لكن ظهور بيانات خاطئة تثير التساؤلات حول موثوقيتها. تم تسليط الضوء على هذه التحديات في تقرير جديد يؤكد أن كشف الأخطاء الطبية الناتجة عن هذه النماذج يعد أمرًا أساسيًا لاعتمادها في تقديم الخدمات الصحية.

ويشير التقرير إلى أن التقدم المعلن في هذا المجال قد يكون مضللًا بسبب استخدام تقنيات تقييم خاطئة. إذ يُعتمد أحيانًا على اختصارات تتعلق بأسلوب الكتابة، حيث يتم تخصيص نصوص من تأليف بشر مع ردود كتبتها نماذج الذكاء الاصطناعي، مما يجعل تقييم القدرة على الكشف عن الفبركة يرتكز أكثر على أسلوب الكتابة من الحقائق.

مع تزايد الاعتماد على هذه التقنيات في المجال الطبي، قدم فريق البحث معيارًا جديدًا يُعرف بـ MedFabric، والذي ينطوي على 646 فبركات طبية كل منها مرتبط بحقيقة مثبتة، مما يعكس تطابقًا دقيقًا مع الأسلوب والجوهر. النتائج أظهرت أن الأطباء الخبراء استطاعوا تحقيق متوسط F1 بنحو 53.3% فقط، ولم تتجاوز أي أداة للكشف 60% دون دليل موثوق.

الأهم من ذلك، أظهر البحث أن القدرة على الكشف تتأثر بدقة الأدلة المتاحة، حيث حقق نموذج LLM القوي نسبة 91% مع استخدام الأدلة الصحيحة، لكن انخفضت النسبة إلى 35% تحت أدلة مضللة، مما يُظهر أن المشكلة ليست فقط في التعقيد، بل في الدلائل المستخدمة.

من خلال الاستفادة من تكنولوجيا الكشف الجديدة، تمّ تحسين دقة أدوات الكشف عبر اعتماد بوابة تعتمد على ثقة الاسترجاع، مما رفع المعدل العام لـ F1 من 61% إلى 74%. بفضل هذه التطورات، تم طرح MedFabric مع جميع الأكواد الأساسية المتعلقة بها، مما يوفر للمجتمع الطبي أداة قيمة لتحسين مخرجات الرعاية الصحية.