في عالم البحث العلمي، يُعد تقييم الأصالة (novelty) للأوراق العلمية تحديًا كبيرًا حتى بالنسبة للعلماء البشريين. مع تزايد الاهتمام بالعلماء الآليين، تبرز أهمية تطوير أدوات موثوقة وقابلة للتشغيل الآلي تساعد في هذا المجال. لقد تم وضع معيار مرجعي جديد يقارن بين مقاييس الأصالة بشكل يضمن عدم الاعتماد على مؤشرات مضللة، مثل عدد الاقتباسات أو درجات تقييم الأقران.

يأتي هذا المعيار الجديد ليختبر كيفية تأثير مجموعة من المؤشرات على تقييم الأصالة دون الحاجة إلى تصنيفات دقيقة للأصالة. ويؤكد هذا النظام على ثلاث فرضيات أساسية: أولاً، يجب أن تنخفض النقاط كلما زادت تغطية المجموعة لمحتوى الورقة. ثانيًا، ترتفع النقاط عندما تفقد المجموعة صلتها بالموضوع. ثالثًا، تنخفض النقاط مع مرور الزمن.

خلال التجارب، أظهرت النتائج أن تقييمات لجنة مراجعة ICLR للأصالة مرتبطة بجودة العمل، مما يوحي بوجود تداخل بين الأصالة والجودة. علاوة على ذلك، أظهرت التقييمات المستندة إلى مقاييس التضمين (embedding metrics) أن تكرار السطح قد تم حله إلى حد كبير، لكن لا يزال هناك تحدٍ في تكرار المفاهيم.

كمكمل لهذا التوجه، اقترح الباحثون دمج مقاييس التضمين مع مقاييس الذكاء الاصطناعي لخلق أدوات تقييم أفضل للأصالة. تلبيةً لاحتياجات المجتمع البحثي، تم إطلاق كود التقييم والمعيار الجديد لتمكين المزيد من الأبحاث المستقبلية في هذا المجال.