شهدت السنوات الأخيرة طفرة في استخدام نماذج اللغة الكبيرة (Large Language Models - LLMs) كنماذج بحثية، ولكن تقييم قدرتها على تتبع تغيرات الاهتمام البحثي يعد تحديًا كبيرًا. تمتلك آرائات الأبحاث والأفكار البحثية نتائج غير قابلة للتحقق بشكل فريد، مما أدى إلى الحاجة إلى أداة تسمح بوضع معايير جديدة.

هنا تبرز أداة Research Attention Prediction (RAP)، التي تشكل معيارًا متجددًا يغطي 278 مجالًا في الذكاء الاصطناعي والتعلم الآلي، مع 1390 حلقة دراسية. يقوم نموذج LLM agent في كل نقطة قطع بالبحث في مجموعة بيانات مؤقتة من arXiv، وتقديم توقعات حول مشاركة الأوراق البحثية في الأشهر الستة المقبلة عبر ثمانية اتجاهات بحثية ثابتة.

على الرغم من أن البحث يساعد على تحسين النتائج عمومًا، إلا أن جميع النماذج التشخيصية الأربعة لم تكن دقيقة مثل النماذج القياسية التقليدية والتي تعتمد على المعدلات المتحركة ذات الوزن الأسي (exponentially weighted moving average - EWMA). عند تحليل البيانات، عثر الباحثون على عنق زجاجة مرتبط يتسبب في تدني الأداء: فعندما يُعطى الوصول للتاريخ التراكمي، تكون نتائج النماذج أفضل مما لو تمت التنبؤات بشكل مباشر.

حتى عند توفر نشاط تاريخي دقيق، يبقى تحديث المعلومات المستقبلية محدودًا، حيث تمكنت فقط النسخة GPT-5.5 من تجاوز نموذج EWMA قليلاً، مما يوضح الحاجة إلى مزيد من التطوير.

علاوة على ذلك، يُظهر تحسين النماذج المُعاد ضبطها على النتائج المدركة تأثيرًا إيجابيًا، حيث زادت دقة التنبؤ لنموذج Qwen3-4B بمقدار 0.105 عند تقييم المجالات التي تم الاحتفاظ بها، مما يدل على تأثير التغيرات الغنية بالأحداث.

تمثل هذه التطورات طموحات جديدة في مجال البحث، حيث نستطيع الآن فحص كيفية استجابة نماذج الذكاء الاصطناعي للتغيرات المستمرة في اهتمام الباحثين.