في عصر الذكاء الاصطناعي وتطور نماذج اللغات الضخمة (Large Language Models)، تبرز تساؤلات جوهرية حول مدى قدرتها على اكتشاف المعرفة الجديدة التي لم يسبق لها مثيل. تتجه الأبحاث الحديثة نحو تطوير أنظمة تقييم ديناميكية بهدف تحسين مستوى تقييم هذه القدرات.

يواجه الباحثون تحديات كبيرة عندما يتعلق الأمر بتقييم قوى نماذج AI في اكتشاف المعرفة. غالبية المعايير التقليدية تعتمد على مجموعات بيانات ثابتة، مما يؤدي إلى نتائج قد تكون مشوهة بسبب إمكانية رؤية النماذج للبيانات أثناء تدريبها. هذا وبالإضافة إلى أن الدورات السريعة في تحديث النماذج تجعل المعايير الثابتة سريعة التقادم، مما يمنعها من قياس القدرة الفعلية لاكتشاف المعارف الجديدة.

للتغلب على هذه العقبات، قدم الباحثون إطارًا جديدًا يُعرف باسم DBench-Bio. يستهدف هذا الإطار توفير تقييم ديناميكي وآلي بالكامل لقدرة نماذج الذكاء الاصطناعي على اكتشاف المعرفة البيولوجية. يتضمن DBench-Bio عملية ذات ثلاث مراحل: (1) الحصول على بيانات من ملخصات أوراق علمية موثوقة؛ (2) استخراج الأسئلة والأجوبة من خلال استخدام نماذج LLM لتوليد أسئلة فرضيات علمية وإجابات لاكتشاف تلك الفرضيات؛ و(3) تطبيق فلتر لضمان جودة الأسئلة والأجوبة من حيث الصلة والوضوح والمركزية.

غالبًا ما تكشف التقييمات الشاملة للنماذج الموجودة حاليًا عن قيود واضحة عندما يتعلق الأمر باكتشاف معرفة جديدة. يمثل عملنا خطوة رائدة نحو إنشاء إطار ديناميكي وآلي يُمكن في تقييم قدرات أنظمة الذكاء الاصطناعي في اكتشاف المعرفة، مما يوفر مصدرًا حيًا ومتطورًا لمجتمع الأبحاث في الذكاء الاصطناعي، مما يحفز المزيد من التطورات في هذا المجال الحيوي.