تعد دراسة اليوم خطوة مهمة في فهم حدود تقييم الذكاء الاصطناعي (AI) وتأثيره على النتائج العلمية، خاصة في مجالات كالبيولوجيا الجزيئية. يركز البحث على تحديات تقييم أداء النماذج وفقاً لمعايير محددة، حيث يُظهر أن النجاح في تقييمات داخل المجال (in-domain evaluations) قد لا يكون مؤشراً موثوقاً عندما يحدث تحول في التوزيع.

في هذه الدراسة، تم تقييم تمثيل Geneformer المُجمد وفقاً لبروتوكول مُسجّل مسبقاً. وقد تم تجميد اختيار النماذج ورؤوس التقييم قبل تقييم الاختبارات. هذا الأسلوب ساعد على ضمان انعزال النتائج النهائية حتى يتم فك حجبها فيما بعد. تم تحليل القرارات الرئيسية التي تحكم النتائج قبل التقييمات الخاصة بها، مما يؤدي إلى بمزيد من النزاهة في التحليل.

عند تطبيق هذا التقييم على تحدي Virtual Cell Challenge (VCC)، أثبت النموذج المجمد أنه يحمل معلومات تنبؤية قابلة للقياس، حيث حقق تحسناً ملحوظاً بالمقارنة مع نموذج عشوائي. ومع ذلك، واجهت النموذجات تحدياً كبيراً يتمثل في الفشل عند اختبار النقل عبر معايير خارجية، مما يشير إلى ضرورة إعادة التفكير في سوء تقيم الأداء المُعتمد.

وتوضح النتائج أن إضافة تعديل محدد مسبقاً قد يحسن الأداء الخارجي، ولكنها لم تنجح في إنقاذ انتقال النتائج. وعلى الرغم من ذلك، ثبت أن عدد العينات المرتبطة بالنتيجة النهائية كانت لها تأثير قوي.

تشير هذه الحالة إلى أهمية توحيد التقييم وفصل الأدلة الأولية عن الثانوية، حيث يمكن لتلك الإجراءات أن تُغير الاستنتاجات المدعومة بواسطة معايير الذكاء الاصطناعي.