في عالم البرمجيات، تعتبر دقة الكود القابل للتحقق أمرًا بالغ الأهمية. استخدم العلماء نماذج اللغة الضخمة (Large Language Models) لتحويل متطلبات اللغة الطبيعية إلى كود قابل للتدقيق. ولكن، تبقى خطوة هامة تُعرف بتوليد المواصفات (SpecGen) التي تُنتج عقودًا رسمية يستطيع الوكيل من خلالها إثبات صحة التنفيذ.

تواجه SpecGen تحديًا رئيسيًا، وهو عدم وجود علامة أكيدة تضمن أن المواصفات الناتجة تعكس نوايا المستخدم بدقة. لذا، فإن إثبات صحة التنفيذ يمكن أن يُظهر التوافق مع مواصفة قد تكون غير دقيقة.

في هذا السياق، أُجريت دراسات جديدة تهدف إلى تحسين عملية تقييم SpecGen بشكل شامل باستخدام مجموعة بيانات مُنسقة تضم 350 مهمة موجودة. يتضمن ذلك 189 مهمة من VERINA و161 من CLEVER، ابتُكِر إطار عمل يتناول الجوانب الرسمية والصحة المرجعية والسلوك الكافي.

يتم في هذه الدراسات التمييز بين قبول المدخلات المطلوبة وقبول المخرجات الصالحة ورفض المخرجات غير الصالحة، مع إبراز نطاق الأدلة لكل مقياس. أظهرت النتائج المثيرة أن تغييرات بسيطة في طريقة قياس الشبه المرجعي يمكن أن تُعدل ترتيب تصنيفات الحالات وفقًا لأهميتها.

على سبيل المثال، في إطار تحكم معني، تم تحقيق 100% من استرجاع الاختبارات الإيجابية ورفض الاختبارات السلبية بينما تم قبول 0% من المدخلات المطلوبة. يُظهر ذلك كيف يمكن للتقييم المثالي أن يفوت فرصة التعرف على العقود المدخلة غير القابلة للاستخدام، مما يحث على توفير تعليقات منفصلة حول تغطية المدخلات وقيود المخرجات.

تُبرز هذه الأبحاث الجديدة أهمية العناية بالتفاصيل في تقييم كود البرمجيات لتفادي الأخطاء المستقبلية وزيادة الثقة في الأنظمة المُعتمدة على الذكاء الاصطناعي.