في عالم الذكاء الاصطناعي، تزداد أهمية نماذج اللغة الضخمة (LLMs) بشكل كبير، حيث يتم دمجها في العمليات السريرية لتحسين خدمات الرعاية الصحية. ومع ذلك، تظهر الحاجة الملحة لضمان إمكانية تتبع نتائج هذه النماذج المولدة والتأكد من موثوقيتها، أحد الحلول المطروحة هو استخدام علامات الماء (watermarking).

لكن التحدي يكمن في أن معظم تقييمات علامات الماء حتى الآن أجريت على معايير عامّة، مما يجعل مجالات متخصصة مثل الطب خارج نطاق التركيز، حيث أن التغيرات الصغيرة على مستوى الرموز يمكن أن تؤدي إلى تغييرات دلالية ضخمة. في جهودها لتسليط الضوء على هذه القضية، تقدم هذه الدراسة الأولى من نوعها تقييمًا دقيقًا لكيفية تأثير علامات الماء على أداء نماذج اللغة في المجال الطبي.

تمت دراسة خمس استراتيجيات لعلامات الماء عبر 11 نموذجًا من نماذج اللغة الضخمة و7 نماذج متعددة الوسائط، مع التركيز على مجموعة من المهام التي تشمل التفكير السريري. تم تعزيز التقييمات الحالية باستخدام خط أنابيب تم التحقق منه من قبل خبراء بشر، يهدف إلى تدقيق الجودة الطبية، ودقة المصطلحات، وما ينتج عن ذلك من توهمات.

تُظهر النتائج أن استخدام علامات الماء يمكن أن يؤدي إلى تدهور كبير في الأداء عبر عدة أنماط فشل، بما في ذلك الفساد lexical، والمصطلحات المُنتجة بشكل مُتوهم، وزيادة خطأ المنسوب أو إغفال النتائج التحليلية للصور. من اللافت أنه تم الكشف عن أن غياب التحليلات المتخصصة، إلى جانب المقاييس الإجمالية، قد يؤثر على الكشف عن الفشل في النصوص الطبية، مما يُخفى المخاطر الرئيسية المؤثرة عمليا.

تؤكد هذه الدراسة على ضرورة وجود تقييم متخصص عند نشر نماذج مُعلمة في مجال الطب، حيث يمكن أن تُخفي المعايير الحالية الفشل المرتبط طبيًا مما يستلزم اتخاذ خطوات إضافية لضمان الرعاية الصحية بشكل آمن وموثوق.