في عامٍ مضى، ازداد الاعتماد على نماذج اللغة الضخمة (Large Language Models) في محادثات الصحة النفسية، ولكن النتائج تشير إلى أن معايير الأمان غير متسقة وغير كافية. وبحسب دراسة نشرت في arXiv، تم تقييم ستة نماذج LLMs خاصة عبر 16 حالة من الدليل التشخيصي والإحصائي للاضطرابات النفسية (DSM-5) باستخدام أربعة أنواع من الهجمات.

دعت الدراسة إلى إنشاء تصنيف مزدوج الأبعاد للأضرار وإطار تقييم متعدد الأبعاد لتلك النماذج. النتائج أظهرت أن أنظمة الأمان تعمل بشكل موثوق فقط في حالات مثل الانتحار وإيذاء النفس، بينما كانت فشل الأمان يصل إلى 100% في حالات مثل اضطرابات الأكل، واضطراب استخدام المواد، والاكتئاب الشديد.

تشير هذه النتائج إلى الحاجة الملحة لتصميم ونشر هذه النماذج بشكل أخلاقي، مع تحديد واضح لفئات الأضرار عبر الحالات السريرية وتطبيق أنظمة الأمان المناسبة. حتى يتم تنفيذ مثل هذه التدابير، تبقى هذه النماذج تهديدًا كبيرًا للفئات الضعيفة، مما يثير القلق بشأن تكاملها المتزايد ضمن البيئات التعليمية.