في عالم اليوم المتسارع، يصبح التقييم الدقيق لنماذج اللغة المتخصصة ضرورة ملحة لضمان ملاءمتها وفعاليتها. قد تكون البيانات الثابتة والمعدلة يدويًا غير كافية لهذا الغرض. لذا، نقدم لكم نظامًا مبتكرًا يعتمد على الرسوم البيانية (Graph-based Evaluation Harness) لتحويل الإرشادات السريرية المنظمة إلى قاعدة بيانات معرفية قابلة للاستعلام.

يتمثل الهدف الرئيسي لهذا النظام في ضمان تحقيق ثلاث نتائج رئيسية: 1) تغطية شاملة لعلاقات الإرشادات، 2) مقاومة التلوث السطحي من خلال التنويع التوافقي، 3) صحة الهيكل المستمد من الخبراء.

في تطبيقٍ على إرشادات منظمة الصحة العالمية (WHO) حول إدارة الأمراض المُعدية عند الأطفال (IMCI)، تم تصميم هذا النظام لإنتاج أسئلة متعددة الاختيارات تركز على التعرف على الأعراض، والتوجيهات العلاجية، وتصنيف شدة الحالة، ورعاية المتابعة.

أظهرت التقييمات عبر خمس نماذج لغوية وجود فجوات نظامية في القدرات، حيث كانت النماذج تؤدي بشكل جيد في التعرف على الأعراض لكنها تعاني من دقة أقل في أماكن مثل بروتوكولات العلاج والقرارات السريرية.

هذا الإطار لا يدعم فقط التجديد المستمر لبيانات التقييم مع تطور الإرشادات، بل يتوسع ليشمل مجالات ذات منطق قرار منظم. وهو ما يوفر أساسًا قابلاً للتوسع للبنية التحتية للتقييمات. في ظل تزايد الاعتماد على الذكاء الاصطناعي والبيانات الكبيرة، يُعد هذا التطور خطوة هامة نحو تحسين فعالية ونزاهة النماذج اللغوية المتخصصة.