في الوقت الذي تزدهر فيه تكنولوجيا الذكاء الاصطناعي، يبرز السؤال: هل يمكن لنماذج اللغة الكبيرة (Large Language Models) أن تتفوق على المتسابقين البشريين في مسابقات البرمجة المعقدة؟ هذا ما تسعى للجواب عليه LiveOIBench، معيار جديد تم تصميمه بشكل مبتكر لتحليل أداء هذه النماذج.

تواجه المعايير التقليدية الحالية تحديات عدة، مثل قلة المشاكل الصعبة، وعدم تغطية كافية لحالات الاختبار، بالإضافة إلى الاعتماد على واجهات برمجة التطبيقات التي تقيد الوصول. لمواجهة هذه المشكلات، يقدم LiveOIBench مجموعة تتكون من 403 مشكلة تم اختيارها بعناية من قبل خبراء، مع متوسط 60 حالة اختبار لكل مشكلة، مستمدة من 72 مسابقة عبر 14 أولمبياد معلوماتية تمت بين عامي 2023 و2025.

يتميز LiveOIBench بأربع خصائص رئيسية:
1. مهام مصممة من قبل الخبراء مع تفاصيل دقيقة لتقييم المهام وحالات اختبار شاملة.
2. مقارنة مباشرة مع المتسابقين البشر النخبة.
3. تحديثات مستمرة لتقليل خطر التلوث.
4. نظام تقييم كامل العمل دون اتصال، قابل للتكرار.

من خلال تقييم 34 نموذجًا شائعًا للذكاء الاصطناعي، حقق نموذج GPT-5 نسبة 81.76 بالميئة، لكن لا يزال بعيدًا عن أفضل المتسابقين البشر. في حين أن نماذج مثل GPT-OSS-120B كانت في مستوى أدنى، حيث حققت 60 بالمئة فقط.

لقد أظهرت التحليلات أن النماذج القوية تركز على تحليل دقيق للمشكلات بدلاً من الاستكشاف المفرط. وأخيرًا، أثبتت التحليلات التاريخية وجود أدلة محدودة على تلوث البيانات في هذا المعيار.

يمكنكم الاطلاع على قائمة المتسابقين، الشيفرة المصدرية، والبيانات المتاحة عبر الرابط: https://liveoibench.github.io/. مما يدعو للتساؤل: كيف ترون مستقبل الذكاء الاصطناعي في مجالات الإبداع والبرمجة؟ شاركونا في التعليقات.