في دراسة مثيرة تم نشرها مؤخرًا، تم تقييم أداء نماذج اللغة الكبيرة (LLM) في مهام الأسئلة والأجوبة المتعلقة بالحصول على رخصة الصيدلة، مع التركيز على تطوير طريقة مبتكرة لدمج المعرفة الخارجية لزيادة الدقة. استخدم الباحثون مجموعة بيانات تضم 141 سؤالًا في مجال الصيدلة لتحديد أداء عشرة نماذج بمختلف أحجام المعلمات (من 8 مليار إلى أكثر من 70 مليار).

وقد تراوحت دقة الأداء الأساسي بين 46% و92%، حيث حقق نموذج GPT-5 أعلى الدرجات بنسبة 92%، يليه نموذج o3 بنسبة 89%، بينما أظهرت النماذج المفتوحة المصدر الأصغر أداءً أدنى بكثير.

تقدم الدراسة نموذج DrugRAG، وهو نظام يتكون من ثلاث خطوات لعملية التوليد المعززة بالاسترجاع (RAG). يقوم هذا النظام بالبحث عن معلومات دوائية هيكلية مبنية على الأدلة، ويعزز مدخلات النماذج بالمعلومات الدوائية السياقية، مع العمل التلقائي المطلوب دون تغيير في معمارية أو معلمات النموذج.

أسفرت الاختبارات عن زيادة الدقة عبر جميع النماذج الخمسة التي تم تقييمها، مع زيادات تتراوح بين 7 إلى 21 نقطة مئوية. على سبيل المثال، تطور أداء نموذج Gemma 3 27B من 61% إلى 71%، بينما ارتفعت دقة نموذج Llama 3.1 8B من 46% إلى 67%.

تمت المشاركة في تحليلات McNemar التي أظهرت تحسنات مرتبطة إحصائيًا، كانت ملحوظة بشكل رئيسي في نماذج المصادر المفتوحة الأصغر والمتوسطة. تبيّن هذه النتائج أن دمج المعرفة الدوائية الخارجية من خلال DrugRAG يمكن أن يحسن أداء نماذج اللغة الكبيرة في مهام الأسئلة والأجوبة المتعلقة بالصيدلة دون الحاجة إلى تعديل النماذج الأساسية. إن تطبيق DrugRAG يوفر مسارًا عمليًا لتعزيز تطبيقات الذكاء الاصطناعي الدوائية المبنية على الأدلة.