في عالم يعج بالتطورات السريعة في الذكاء الاصطناعي، يزداد استخدام نماذج اللغات الضخمة (Large Language Models) لتلخيص نتائج التجارب السريرية، وهو ما يعدّ تطورًا ثوريًا يقدم فوائد جمة للموفرين الصحيين والمرضى والجهات الدافعة. رغم ذلك، تظل هناك مخاوف بشأن دقة هذه الملخصات بسبب ميل تلك النماذج للتوهم (hallucination)، مما قد يؤدي إلى عواقب وخيمة في هذا السياق الحساس.

تقدم الدراسة الحديثة إطار تقييم جديد يرتكز على قياس دقة ملخصات التجارب السريرية التي تُنتجها نماذج اللغات الضخمة لمجموعة متعددة من المعنيين. يتكون هذا الإطار من 200 تجربة مُختارة بعناية من قاعدة بيانات ClinicalTrials.gov وتمت مراجعتها عبر قوالب مخصصة لكل جمهور مستهدف.

التحليل أظهر نتائج مثيرة للاهتمام، حيث تم تقييم 1,800 ملخصًا تم إنتاجها من قبل نماذج مثل GPT-4o وClaude Sonnet 4.6 وGemini 2.5 Flash باستخدام نموذج تلاعب اللغة الطبيعي (Natural Language Inference - NLI). لتحديد مواطن الضعف، تم التعرف على "المزاعم غير المدعومة" كأكثر أنواع الأخطاء شيوعًا في جميع النماذج الثلاثة، مع معدل تقييم متوسط ​​يصل إلى 1.55 من أصل 3.

من جهة أخرى، تم تطوير نظام استرجاع مدعوم برسم معرفي (knowledge-graph-augmented retrieval) ليتم تقييمه مقابل الأساسيات، محققًا تحسينات مهمة في درجات دقة التقييم المبنية على NLI.

ووفقًا للبحث، كانت مسارات التحسين تعتمد على النموذج نفسه، حيث تم تحسين GPT-4o بشكل رئيسي من خلال تقليل التناقضات، بينما شهدت Claude Sonnet 4.6 وGemini 2.5 Flash تحسنًا من خلال زيادة التخصيص.

تؤكد النتائج على أهمية تطوير وتحسين هذه النماذج لزيادة موثوقية المعلومات المقدمة للمتخصصين في الرعاية الصحية والمرضى على حد سواء. في ضوء هذه التطورات، كيف يمكن تعزيز استخدام هذه التكنولوجيات بشكل يضمن حمايتها من الأخطاء؟ شاركونا بآرائكم في التعليقات!