في عالم البرمجة، تعد الاختبارات العامة (Public Tests) شكلاً شائعاً لتأمين جودة الشيفرات المولدة بواسطة نماذج اللغات الضخمة (Large Language Models). ورغم انقضائها، لا تضمن هذه الاختبارات صحة المواصفات بشكل كامل. لذلك، جاء البحث الجديد مع ابتكار مثير يدعى بروتوكول Code Monitor Red Teaming، الذي يطرح تساؤلاً مهماً: بعد نجاح الشيفرة في اجتياز الاختبارات العامة، هل يمكن لنموذج تحقق أضعف أن يكشف عن الأخطاء الخفية المتبقية؟

بروتوكول Code Monitor Red Teaming يعمل على معالجة مشكلة مراقبة البرمجيات بعد تمريرها للاختبارات العامة، بحيث يتم تطبيق ضغط مختلف على المولدات ومنصات التحقق. تم تنفيذ هذا البروتوكول في مشروع تحت مسمى CodeMonitorBench، الذي يغطي أنواعاً مختلفة من الأكواد بما في ذلك الأكواد الوظيفية وأكواد علوم البيانات.

عند دراسة 71,000 نموذج تم توليدها، تبين أن حوالي 43,677 منها قد اجتازت الاختبارات العامة، لكن 23,081 منها فشلت في اختبارات خفية. هذه النتائج تبرز صعوبة الاعتماد على التحقق الضعيف، رغم أن هذه النماذج تحسنت مع تطور البنية التحتية للأسطح (Scaffolding) وعائلات النماذج. ومع ذلك، لا زالت تفوت معظم الأخطاء الخفية، محققة معدل إيجابيات خطأ يصل إلى 5%.

تُعد هذه النتائج تحدياً واضحاً للاعتماد على نماذج الذكاء الاصطناعي فقط، والحاجة لمزيد من الاستراتيجيات الهجومية لضمان الفعالية والدقة العالية. في الختام، يبقى التساؤل: كيف يمكن تحسين نماذج التحقق لتجاوز العوائق الحالية؟