تشهد نظم الذكاء الاصطناعي (Artificial Intelligence) تزايداً ملحوظاً في استخدامها ضمن مجالات الرعاية الصحية والصيدلة، حيث تدعم هذه النظم مجموعة من المهام المهمة مثل توصيات الأدوية، وتحديد الجرعات، واكتشاف التفاعلات الدوائية. رغم أن هذه الأنظمة تظهر أداءً قوياً في المعايير القياسية، إلا أن موثوقيتها في اتخاذ القرارات الواقعية لا تزال غير مفهومة بشكل كافٍ.

في مجالات ذات مخاطر عالية مثل إدارة الأدوية، يمكن أن تؤدي حتى التوصية الخاطئة الواحدة إلى أضرار جسيمة للمرضى. الدراسة الحالية تبحث في موثوقية أنظمة الذكاء الاصطناعي المدعومة بالأدوية من خلال التركيز على فشل النظام والعواقب السريرية المحتملة. بدلاً من تقييم الأداء فقط من خلال المعايير الإجمالية، تُعيد هذه الورقة توجيه الانتباه نحو كيفية حدوث الأخطاء وما يحدث عندما تنتج أنظمة الذكاء الاصطناعي مخرجات غير صحيحة.

من خلال مجموعة من السيناريوهات المحاكاة التي تتعلق بالتفاعلات الدوائية وقرارات الجرعات، نقوم بتحليل أنواع مختلفة من فشل النظام، بما في ذلك فشل اكتشاف التفاعلات، وإشارات المخاطر غير الصحيحة، وتوصيات الجرعات غير المناسبة. تُبرز النتائج أن أخطاء الذكاء الاصطناعي في سياقات الأدوية يمكن أن تؤدي إلى ردود فعل سلبية على الأدوية، أو علاجات غير فعالة، أو تأخير في تقديم الرعاية، خاصة عندما تُستخدم الأنظمة دون إشراف بشري كافٍ.

علاوة على ذلك، تناقش الدراسة مخاطر الاعتماد الزائد على توصيات الذكاء الاصطناعي والتحديات الناتجة عن نقص الشفافية في عمليات اتخاذ القرار. يسهم هذا العمل بنظرة تركز على الموثوقية في تقييم الذكاء الاصطناعي في الرعاية الصحية، مشدداً على أهمية فهم سلوك الفشل وتأثيره في الواقع. كما يُظهر الحاجة إلى تكملة المعايير التقليدية للأداء بأساليب تقييم مدروسة تتبنى المخاطر، خصوصاً في المجالات التي تتطلب درجة عالية من الأمان مثل ممارسة الصيدلة.