في عالم الأبحاث العلمية المتطور بسرعة، يُعتبر التناسق بين الأوراق العلمية وكوداتها مسألة حيوية لضمان قابلية إعادة الإنتاج. ومع ذلك، فإن الفجوات الموجودة بين هذين العنصرين يمكن أن تقوض نتائج البحث وتزيد من المخاوف بشأن الجودة. وفي الوقت الذي يتسارع فيه استخدام وكالات البحث الآلية (Automated Research Agents) لإنتاج الأبحاث خارج نطاق قدرة المراجعة البشرية، طرح الباحثون سؤالاً جوهرياً: هل يمكن لنماذج اللغات الضخمة (Large Language Models) أن تكتشف هذه الفجوات بدقة؟

للاجابة عن هذا السؤال، تم تقديم مشروع SciCoQA، والذي يتضمن قاعدة بيانات تحتوي على 635 حالة من عدم التوافق بين الأوراق العلمية والكود (92 حالة حقيقية، و543 حالة صناعية) لتيسير هذه المهمة.

تُظهر نتائج التجارب مع 22 نموذجاً مختلفاً، بما في ذلك نماذج مشهورة مثل Gemini 3.1 Pro وGPT-5 Mini، أن أفضل النماذج لا تستطيع اكتشاف أكثر من 46.7% من الفجوات في العالم الحقيقي. هذا يسلط الضوء على الفجوة الحرجة في ضمان جودة الأبحاث العلمية بشكل آلي.

تم إنشاء SciCoQA من خلال استخراج بيانات من مشاكل GitHub والأبحاث المتعلقة بالقابلية لإعادة الإنتاج، بالإضافة إلى اقتراح نظام لتوليد البيانات بشكل صناعي يمتد ليشمل مجالات الفيزياء وعلوم الحياة الكمومية وغيرها من العلوم الحسابية.

كما تم تقديم تصنيف لأنواع الفجوات وفئاتها لتوصيف الاختلافات الموجودة. وتظهر التحليلات أن النماذج تواجه صعوبة خاصة في التفاصيل المفقودة من الأوراق، والمدخلات طويلة السياق، والأوراق التي تقع خارج مجموعة بيانات تدريبها.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات.