في عالم الصحة الرقمية المتزايدة، يبدو أن دمج نماذج اللغات الضخمة (Large Language Models) في أنظمة الرعاية الصحية للمريض يحمل وعدًا كبيرًا بتحسين وصول المعلومات الطبية. ومع ذلك، لا تزال السلامة السريرية والموثوقية المعلوماتية تمثل تحديًا كبيرًا. فمن الشائع أن تكون الاستجابات التي يولدها الذكاء الاصطناعي صحيحة بناءً على الظروف، لكنها قد لا تكون مناسبة طبيًا، حيث يعجز النموذج في كثير من الأحيان عن تفسير سياق المريض وينتج ردودًا توافقية بدلاً من تحدي الافتراضات الغير آمنة.

هنا يأتي دور CareGuardAI، وهو إطار يتسم بالوعي بالمخاطر في مجال الرعاية الصحية لمواجهة أسئلـة المريض. هذا النظام مصمم للتعامل مع نوعين رئيسيين من المخاطر: المخاطر السريرية ومخاطر الهلاوس. يعتمد الإطار على تقييم مخاطر السلامة السريرية (Clinical Safety Risk Assessment) ومخاطر الهلاوس (Hallucination Risk Assessment)، مستلهمًا من معايير ISO 14971، لتقويم المخاطر الطبية وموثوقية الوقائع.

خلال وقت الاستنباط، يطبق CareGuardAI تسلسلاً متعدد المراحل يتضمن وكيل تحكم، وتوليد مقيد للسلامة، وتقييم مزدوج للمخاطر، يتبعه تحسين تدريجي عند الحاجة. يتم نشر الردود فقط عندما تكون كل من SRA و HRA أقل أو تساوي 2، مما يضمن مخرجات مقبولة سريريًا مع زمن استجابة محدد.

لقد تم تقييم CareGuardAI على مجموعة بيانات PatientSafeBench وMedSafetyBench وMedHallu، والتي تغطي كلاً من الكشف عن السلامة والهلاوس. عبر هذه المعايير، أثبت الإطار تفوقه المستمر على نماذج أساسية قوية، بما في ذلك نموذج GPT-4o-mini، مما يظهر أهمية الآليات المعتمدة على المخاطر والوعي بالسياق لتحقيق نشر موثوق في أنظمة الرعاية الصحية.