في عالم الذكاء الاصطناعي، تتجه الأنظار نحو تطوير أدوات جديدة تسهم في تحسين أداء الوكالات البرمجية. نقدم لكم اليوم RuBench 1.0، معيار تقييم مبتكر وهو الأول من نوعه الذي يعيد تعريف كيفية التعامل مع المهام البرمجية بلغة المستخدم.

تتزايد التحديات التي يواجهها المطورون عند تفويض الأعمال للوكالات البرمجية، حيث يتم تقديم العديد من المهام بلغة المستخدم الأصلية بدلاً من اللغة الإنجليزية التقليدية. ولتلبية هذه الحاجة، قام الباحثون بإنشاء RuBench كمعيار من 25 مهمة مستخرجة من عمليات تصحيح فعلية في خمسة مستودعات مفتوحة المصدر: aiohttp وaiogram وLaravel وNestJS وFastify. وُصِفت كل مهمة بلغة روسية، مكتوبة من الصفر بأسلوب يضع المتطلبات كطلب عميل فعلي، الأمر الذي يضيف واقعية على التقييم.

تم اختبار الأداء باستخدام مجموعة متنوعة من تكوينات المنتجات، بما في ذلك Claude Code مع Opus 4.8 وSonnet 5 وHaiku 4.5، بالإضافة إلى Codex CLI مع GPT-5.5. ومن المثير للاهتمام أن أفضل تكوين تمكن من حل 78.7% من المهام، مما يؤكد فعالية النظام.

لا يتوقف الأمر عند هذا الحد، بل لقد كشف التدقيق الكامل لتجربة الإعداد عن استبدال صامت للنموذج المستخدم في 20% من المهام، مما يبرز أهمية متابعة أداء الأنظمة للحصول على نتائج موثوقة.

تم إصدار بيانات المهام، والبيانات الوصفية، ومسارات الوكلاء، مما يسمح بتوسيع نطاق الاستخدام والتحليل. هل أنتم مستعدون لاستكشاف الإمكانيات المذهلة التي يوفرها RuBench؟ رافقونا في التعليقات لنناقش آراءكم!