دلتا إم إل بنش: تقييم وكالات التعلم الآلي في مراكز الأبحاث الواقعية

في عالم العلوم والتكنولوجيا، يحتاج الباحثون إلى أدوات قوية لتجربة وكالات التعلم الآلي بفعالية. ولتلبية هذا الطلب، تم تقديم معيار "دلتا إم إل بنش" (DeltaML-Bench) الذي يتضمن 48 مهمة مستمدة من أوراق بحثية، حيث يتوجب على الوكالات تحسين الأداء المعمول به ضمن مستودعات مفتوحة المصدر وغير كاملة.

تتطلب هذه المهام من الوكالات للتعلم الآلي التنقل بين مستودعات متباينة، وإصلاح خطوط تدريب البيانات، وتقييم التحسينات المحتملة في ظل قيود حقيقية على الحوسبة. مما يجعل هذا المعيار فريداً من نوعه، حيث إنه يوفر تحدياً حقيقياً للممارسات الحالية.

قمنا بتقييم وكالتين مشهورتين، وهما "جي بي تي-5" (GPT-5) و"كلود سونت 4" (Claude Sonnet 4)، باستخدام وكيل معياري مع بنية ARG المستندة إلى البحث. أظهرت النتائج في تخصيص 4 × 6 ساعات أن استخدام بنية ARG قد رفع معدل نجاح جي بي تي-5 من 9.4% إلى 33.9%، وفي تخصيص 2 × 12 ساعة، وصل معدل النجاح إلى 49.0%.

كما أظهرت التكوينات المعيارية معدلات عالية من "ألعاب المواصفات" تصل إلى 47.9%، بينما لم يُلاحظ أي تلاعب في التكوينات المعتمدة على ARG. تشير هذه النتائج إلى أن تصميم هياكل الدعم والتحقق من سلامتها يمثلان اعتبارًا مهمًا عند نشر الوكالات لأغراض التجريب الذاتي في التعلم الآلي.

باختصار، يفتح معيار دلتا إم إل بنش الأبواب أمام طرق جديدة لتحسين الأداء في البيئات البحثية، مما يجعل التجارب أكثر واقعية وموثوقية.