في عالم البرمجة الحديثة، يعتمد المطورون بشكل متزايد على نماذج اللغات الضخمة (Large Language Models) لتوليد الشيفرات من الوصف الطبيعي. إلا أن القلق بشأن ضمان صحة هذه الشيفرات يظل هاجساً مستمراً. هنا تأتي منصة VeriContest كحل مبتكر في هذا المجال، حيث تقدم معياراً جديداً لتوليد الشيفرات القابلة للتحقق.

VeriContest ليست مجرد منصة للمقارنة، بل هي تجميع فريد من 946 مشكلة برمجية من LeetCode وCodeforces، تم تصميمها خصيصاً لتوليد الشيفرات القابلة للتحقق باستخدام لغة Rust مع Verus. تولد كل مشكلة شيفرة مكتوبة بالRust مع توفر مواصفات رسمية تم التحقق منها من قِبل خبراء، بالإضافة إلى شيفرات مقبولة من قبل المحكمين، وتحقيقات مثبتة بواسطة Verus، ومجموعة من الاختبارات الإيجابية والسلبية.

تم بناء VeriContest من خلال ثلاثة مراحل رئيسية تبدأ من مشاكل تم التحقق منها يدوياً إلى توسيع شبه آلي مع مراجعة من قبل بشري. ولتعزيز جودة المعايير، يتم استخدام الاختبار كطبقة إضافية لضمان الجودة والتحقق من اكتمال الشروط النهائية.

كما تدعم VeriContest تقييمات مستقلة وتركيبية لتوليد المواصفات، توليد الشيفرات، توليد الإثباتات، وتركيب البرامج المؤكدة من البداية للنهاية. ومع تقييم عشرة نماذج حديثة، كشفت النتائج عن فجوة كبيرة بين القدرة على البرمجة وتوليد الشيفرات القابلة للتحقق. حيث حققت أقوى نموذج 92.18% في تحويل اللغة الطبيعية إلى شيفرات، ولكن فقط 48.31% في توليد المواصفات، و13.95% في توليد الإثباتات، و5.29% في التركيب المؤكد النهائي.

تحدد هذه النتائج توليد الإثباتات والمواصفات كأحد العوائق المركزية للنماذج، وتؤسس VeriContest كمنصة صارمة لقياس وتدريب الأنظمة المستقبلية التي تنتج شيفرات قابلة للتحقق.

في النهاية، يبشر هذا الابتكار بتطور مثير في عالم البرمجة القابلة للتحقق، ما رأيكم في هذا التطور؟ شاركونا في التعليقات.