في ظل التقدم المتسارع في مجال الذكاء الاصطناعي، تُعتبر نماذج اللغة الكبيرة (Large Language Models) من أبرز التقنيات التي تحمل إمكانيات تحولية في القطاع الطبي. ومع ذلك، لا يزال من الضروري تقييم موثوقية هذه النماذج في سياقات طبية حقيقية، خصوصاً في مجالات متخصصة مثل طب الأسنان.

لذا، تأتي مبادرة GlobalDentBench كجسر يربط بين التكنولوجيا وطب الأسنان، حيث تمثل أول معيار عالمي يهدف إلى تحسين مستوى التفكير السريري لنماذج اللغة الكبيرة. يشمل المعيار 14 تخصصاً في طب الأسنان موزعة على 88 دولة ومنطقة عبر ست قارات، ويحتوي على 8,978 سؤالاً مُعتمداً من قبل خبراء. تم تقسيم الأسئلة إلى ثلاثة تنسيقات: الخيارات المتعددة، الإجابات القصيرة، والأسئلة المعتمدة على الحالات، ويتيح ذلك تقييم مستويات reasoning مختلفة: مثل تذكر المعرفة (L1)، التفكير الروتيني (L2)، والتفكير الفردي المعقد (L3).

لضمان جودة البيانات، تم ضبط إطار العمل الآلي للبناء بمساعدة ستة أطباء أسنان كبار، مما أسفر عن معدلات توافق خبيرة تصل إلى 99.98% للأسئلة ذات الخيارات المتعددة والإجابات القصيرة، و96.78% للأسئلة المعقدة.

ومع ذلك، كشفت تقييمات لـ12 نموذجاً رائداً في GlobalDentBench عن تدهور حاد في الأداء مع زيادة تعقيد التفكير. إذ انخفضت الدقة من 81.34% في الخيارات المتعددة إلى 64.53% في الإجابات القصيرة و22.34% في الأسئلة المعتمدة على الحالة. فوق ذلك، أظهر تحليل المخاطر للحالات السريرية الواقعية معدلاً مقلقًا بنسبة 31.01% للتوصيات السريرية التي تولدها نماذج اللغة الكبيرة، مع نسبة 4.51% تشير إلى مخاطر تؤدي إلى ضرر غير قابل للإصلاح للمرضى.

تسلط هذه النتائج الضوء على حدود أساسية في التفكير الطبي وسلامة نماذج الذكاء الاصطناعي الحالية. وبالتالي، يمثل GlobalDentBench أساسًا قابلًا للتوسع لتقييم الذكاء الاصطناعي السريري الموثوق به ويؤكد الحاجة الملحة للتقييم الدقيق قبل نشر هذه النماذج في مجال الرعاية الصحية.