تتزايد اعتماد نماذج الذكاء الاصطناعي الطبية المفتوحة على مستوى العالم في التطبيقات التي تتعامل مع المرضى وتدعم الأطباء، إلا أن هناك تحذيرات هامة تتعلق بتجاوز هذه النماذج للاستخدامات المحددة في بطاقة النموذج. بطاقات النموذج تحظر تصرفات معينة، منها وصف الجرعات بدقة، إصدار تشخيصات نهائية، وصف العلاجات، وإرشاد المرضى بتجاوز الرعاية الطارئة.

ومع ذلك، يبين البحث الجديد الذي تناول نموذج MedGemma-4B أن هناك فجوة كبيرة بين السلوك المحدد المتوقع من هذه النماذج والسلوك الفعلي عند التعامل مع أنواع مختلفة من الهجمات.

قام الباحثون ببناء معيار شامل يتضمن خمسة مفاهيم سلوكية محمية و50 سؤالًا تم تصميمها بشكل دقيق، بالإضافة إلى ست طرق هجوم يمكن الوصول إليها بسهولة، مما أدي إلى إجراء 4,500 جيل. تم تقييم ردود النموذج من قبل ثلاثة قضاة مستقلين، حيث أظهر تحليل النتائج أن معدل نجاح الهجوم (Attack Success Rate - ASR) بلغ 38.0%. وذلك بالرغم من معايير الأمان المطبقة.

من الجدير بالذكر أن إعادة تأطير الأسئلة، خاصة عند تصويرها كأسئلة امتحان لجنة طبية، قد يرفع من معدل نجاح الهجمات من 29.0% إلى 53.1%. على الجانب الآخر، الحواجز المتعلقة بتفاعلات الأدوية كانت ضعيفة للغاية، حيث وصلت نسبة التجاوز إلى 83.2%، بينما ظلت حواجز إعفاء الحالات الطارئة قوية بمعدل 4.7%.

هذا البحث يعكس الحاجة الماسة إلى تعزيز إجراءات الأمان عند نشر نماذج الذكاء الاصطناعي الطبية، لضمان سلامة المرضى وحمايتهم من المعلومات غير الدقيقة.