في الآونة الأخيرة، حققت نماذج اللغات الضخمة (Large Language Models) تقدماً ملحوظاً في القدرة على تحويل المتطلبات من اللغة الطبيعية (Natural Language) إلى برمجيات PL/SQL. ومع ذلك، كانت معظم الجهود الحالية تركز على تحويل النصوص التامة إلى التعليمات البرمجية مباشرة دون النظر إلى السيناريوهات المتنوعة التي قد يواجهها المطورون في تطبيقات PL/SQL.

من هنا، تظهر أهمية مشروع ProcArena، وهو معيار جديد تم تطويره لتقييم أداء نماذج اللغات الضخمة في سيناريوهات متعددة. يتضمن ProcArena 3,998 مهمة قابلة للتنفيذ موزعة على 157 قاعدة بيانات، مما يغطي تسعة سيناريوهات تطوير فرعية مختلفة في بيئتي PostgreSQL و Oracle.

تم تصميم المهام لتتحدى النماذج من خلال تحسينات منطقية تكرارية ومعدلات محددة للسيناريوهات. بالإضافة إلى ذلك، تم تطوير مهام تفاعلية من خلال دمج المعرفة وتحويل المتطلبات مع الحفاظ على الأهداف القابلة للتنفيذ. كما تم إعداد بروتوكول خاص لمحاكاة تفاعل المستخدم - المحاكي (Solver-User Simulator) الذي يسمح للنماذج بفهم نوايا المستخدم وفحص بيئة قاعدة البيانات دون الكشف عن ردود الفعل المخفية.

عند تقييم سبع نماذج لغوية، حققت النماذج أفضل متوسط درجات يقدر بـ 62.2% في الوضع المباشر و57.8% في الوضع التفاعلي، مما يبرز التحديات المستمرة التي تواجه تحويل الاحتياجات من اللغة الطبيعية إلى PL/SQL بشكل واقعي، خاصة في السيناريوهات التفاعلية.

ختاماً، تعتبر ProcArena خطوة مهمة نحو تحسين الأداء وتحقيق المزيد من النجاعة في تطوير PL/SQL، مما يفتح آفاق جديدة جداً للباحثين والمطورين في هذا المجال.