أثارت مجموعة البيانات الجديدة OpenDiscoveryTrace اهتمام الباحثين وصناع التقنية حول العالم، حيث تمثل نقلة نوعية في كيفية تقييم عمليات الذكاء الاصطناعي (AI) في ميدان البحث العلمي. حتى الآن، كانت المقاييس المتاحة تركز فقط على النتائج النهائية، مثل الأكواد والنظريات والمقالات، مما أضعف إمكانية التدقيق في المنهجيات العلمية والتعرف على أسباب الفشل.

تأتي OpenDiscoveryTrace لتغير هذا المفهوم، حيث تعرض 558 مساراً كاملاً لوكلاء علميين اصطناعيين، تلتقط كيفية تفكير النماذج وليس فقط ما تنتجه. كل مسار يوثق 9 مجالات هيكلية لكل خطوة—بما في ذلك الأفكار، واستدعاءات الأدوات، والملاحظات، والأخطاء، والعوامل المحفزة للتعديل، والثقة المبلغ عنها ذاتياً—أثناء تنفيذ 124 مهمة علمية تتراوح بين اكتشاف الأدوية وعلوم المواد وعلم الجينوم وتحليل الأدبيات العلمية.

تغطي المجموعة سبعة نماذج من الذكاء الاصطناعي، منها ثلاثة نماذج رائدة (GPT-5.4، Claude Opus 4.6، Gemini 3.1 Pro) والتي أظهرت جميعها معدلات نجاح مماثلة (84-89%)، ولكن مع اختلاف كبير في أنماط الأخطاء. على سبيل المثال، أنتج نموذج Claude Opus 4.6 30 مرة أكثر من الأخطاء مقارنة بـ GPT-5.4. بينما كانت الأخطاء في استخدام الأدوات تشكل 66.7% من الأخطاء في Claude، كانت أخطاء التفكير تمثل 83.6% في GPT-5.4.

أعلن الباحثون عن خمس مهام معيارية مع معدلات أساسية من نماذج مختلفة مثل الانحدار اللوجستي والغابات العشوائية والنماذج الشبكية (LSTMs) ونماذج Transformers. سيتم توفير مجموعة البيانات، وهيكل المسار، وتعريفات المهام العيارية تحت رخصة CC BY 4.0 لدعم الأبحاث حول تقييم العمليات، وتدقيق الوكلاء العلميين، وحوكمة الذكاء الاصطناعي.

هذا الابتكار يعد خطوة كبيرة نحو التحسين المستمر في أخلاقيات وتقنيات الذكاء الاصطناعي. ما رأيكم في إمكانيات OpenDiscoveryTrace؟ شاركونا آراءكم في التعليقات.