شهدت أبحاث الذكاء الاصطناعي وتحليل اللغة الطبيعية (NLP) تغيرات جذرية خلال العقد الماضي، ويمكن إرجاع ذلك إلى عدد قليل من الإسهامات المنهجية مثل word2vec ونموذج Transformer، بالإضافة إلى التدريب الموسع على نطاق واسع والتعلم المعزز من التغذية الراجعة من البشر. أعلنت OpenReview مؤخرًا عن إصدار نتائج تقييم المراجعين وقرارات القبول/الرفض بشكل علني لكل تقديم في مؤتمر ICLR. ومع ذلك، فإن ما إذا كانت هذه الإشارات من المراجعات تُحدد الأوراق ذات التأثير التحويلي عند وقت التقديم أم لا، يبقى موضوع اختبار.

الإجابة على هذا السؤال تأتي من دراسة شاملة امتدت على 36,113 ورقة بحثية من ICLR خلال الفترة من 2017 إلى 2025، حيث قام الباحثون بتحديد ما يسمى بالأوراق "المحورية" – تلك التي تؤثر بشكل ملموس على اتجاه الأبحاث المستقبلية.

لقد قام الباحثون بمقارنة أربع مقاييس للاضطراب تأخذ بعين الاعتبار تأثير هذه الأوراق، بما في ذلك مؤشر Consolidation/Destabilization (CD) وnode2vec ومقياس Embedding Disruptiveness Measure (EDM) المرتكز على نماذج اللغة الكبيرة (LLM). وتم وضع تصنيف يعتمد على خمس فئات من الأوراق المحورية (مبادر الموضوع، جسر الموضوع، إعادة توجيه ضمن الموضوع، متزامن، وعدم التوافق في التعرف).

أظهرت النتائج أن مقياس EDM هو الأكثر فعالية في تحديد الأوراق عالية الاستشهاد في ICLR، مع دقة تصل إلى 0.83 مقارنة بـ0.60 لمؤشر CD و0.49 لـnode2vec و0.42 لمقياس LLM. كما تبين أن الأوراق التي تمثل مبادئ جديدة تؤدي إلى نمو يصل إلى 7.55 ضعفًا في حصة الموضوع، بينما جسر الموضوع أدى إلى زيادة تصل إلى 11.52 ضعفًا في تدفق الاستشهادات بين المواضيع المتعددة بالمقارنة مع الأوراق التي تماثلها زمنيًا.

من الغريب أن درجات المراجعة من النظراء كانت بعيدة عن التوافق مع الاضطراب المستقبلي، مما أظهر فارقًا ضئيلاً بين الأوراق المقبولة والمرفوضة، حيث لم يكن هناك اختلاف معني في متوسط EDM ($p=0.11$). هذا البحث يفتح آفاقًا جديدة لفهم تأثير الأوراق البحثية في تطوير الذكاء الاصطناعي وتحليل اللغة ويتساءل عن الإشارات التي يجب التركيز عليها عند تقييم البحث العلمي.