شهدت الأبحاث في مجال علوم الحياة تطورًا ملحوظًا بفضل النماذج اللغوية الضخمة (LLMs)، التي أثبتت جدارتها في مهام التفسير المدفوعة بالمعرفة. لكن، هل تلك النماذج قادرة على الربط الفعال بين المعرفة الجينية والفهم الوظيفي؟

لإجابة هذا السؤال، تم إطلاق SciHorizon-GENE، وهو معيار ضخم يركز على الجينات تم تطويره باستخدام قواعد بيانات بيولوجية موثوقة. يجمع هذا المعيار معلومات تم تنسيقها لأكثر من 190,000 جين بشري، ويتضمن أكثر من 540,000 سؤال يغطي سيناريوهات متنوعة تتعلق بتفسير العلاقة بين الجين والوظيفة، وهو أمر ضروري لتحليل أنواع الخلايا.

تم تصميم SciHorizon-GENE لتقييم النماذج اللغوية الضخمة من أربع زوايا حيوية: حساسية الانتباه البحثي، ميل الهلوسة، اكتمال الإجابات، وأثر الأدبيات. وبهذا، يستهدف المعيار الصعوبات التي قد تحد من اعتماد هذه النماذج في أنظمة تفسير البيانات البيولوجية، مما يمهد لتطبيقاتها العملية بأمان.

من خلال تقييم مجموعة واسعة من النماذج العامة والطبية، تم الكشف عن تفاوتات ملحوظة في قدرات استنتاج المعلومات الجينية، مما يشير إلى تحديات مستمرة في إنتاج تفسيرات وظيفية دقيقة وموثوقة. يرسخ SciHorizon-GENE أساسًا منهجيًا لفهم سلوك النماذج اللغوية على مستوى الجينات، مما يوفر رؤى قيمة لاختيار النماذج وتطويرها، ويعزز الفهم البيولوجي المعزز بالمعرفة.