تزداد أهمية نماذج اللغات الضخمة (LLMs) في توفير المعلومات الصحية العامة، لكن هناك تحديات كبيرة تتعلق بالأمان وجودة المعلومات المقدمة. في هذا السياق، تم تقديم معيار MIRA (Medical Information Response Audit) الجديد، الذي يستهدف تقييم قدرة هذه النماذج على تقديم معلومات طبية دقيقة عند استخدام عبارات مختلفة من قبل المستخدمين.

يعمل معيار MIRA كمنصة ثنائية اللغة، حيث يتضمن 4,320 سؤالًا تم بناؤها من 60 سؤالًا صحيًا منخفض المخاطر تمت مراجعتها طبيًا. وقد أُجريت اختبارات على خمسة نماذج رئيسية من LLMs، حيث تمت الإجابة عن جميع الأسئلة الطبية، ولكن أظهرت الاستجابات إلى الإشارات منخفضة الفهم الصحي نقصاً ملحوظاً في المعلومات الحيوية، حيث تم تقديم خطوات ملموسة أقل ودعم أقل للحكم المستقل.

تم تعريف هذه الظاهرة باسم "تخفيف المعلومات التفاضلي" (Differential Information Dilution)، حيث تشير النتائج إلى أن تأثيرات اللغة تختلف حسب النموذج، وليس على نحو موحد أسوأ بالنسبة للأسئلة غير الإنجليزية.

عند إجراء مقارنة مع 300 استفسار صحي حقيقي، قدمت الدراسة دليلاً أولياً على صحة الترتيب في النتائج. ومن خلال استخدام موجه مدعوم بالمعرفة، تمكنت معظم النماذج من تقليل تخفيف المعلومات، حيث تم ملاحظة أكبر تخفيض في التبسيط غير الكافي من نماذج Claude (~8%) وQwen (~6%).

هذه النتائج تسلط الضوء على الحاجة الماسة لتحسين تجارب المستخدمين في الحصول على معلومات صحية موثوقة، خاصة لأولئك الذين يواجهون صعوبة في فهم المعلومات المقدمة.