كيف تغير السياسات احتمالات اتخاذ القرار: خطوات ثورية في مراجعة كود نماذج اللغات الضخمة

في عالم البرمجة ومراجعة الكود، تعتبر نماذج اللغات الضخمة (Large Language Models) أداة قوية لتحسين جودة الأكواد. ومع ذلك، تبين أن هناك تحدياً كبيراً يتمثل في كيفية تقدير المخاطر المرتبطة بالتصحيحات (patches) وآلية اتخاذ القرارات. في دراسة جديدة، تم اختبار أربعة واجهات مراجعة تستخدم لنماذج اللغات الضخمة بناءً على 15,792 استجابة تتعلق بـ720 تصحيحاً، مما يوفر رؤى مثيرة حول كيفية تأثير السياسات المتبعة في مراجعة الأكواد.

أحد النتائج البارزة هو أن تبديل سياسة قبول خاطئة بنسبة 10:1 بدلاً من سياسة متساوية التكلفة في تقديرات الفشل يمكن أن يؤدي إلى تغيير في احتمالات الفشل المبلغ عنها بنسبة تصل إلى 16.9 نقطة مئوية في المتوسط. على الرغم من أن هذه النماذج تهدف إلى تحسين دقة التقديرات، إلا أن النتائج تُظهر أن اتخاذ القرارات تحت سياسة عالية التكلفة أسوء من رفض جميع التصحيحات.

أعطت الدراسة أهمية لفصل تقييم المخاطر عن المعلومات المتعلقة بالسياسة، حيث تم تطوير خط أنابيب نمطي يوفر تقييمًا مستقلًا، مما يحسن دقة النتائج بمقدار 0.073 لكل قضية. بالتالي، يمكن أن تغير السياسات السارية الاحتمالات التي ينبغي اتخاذها، مما يفرض ضرورة إعادة تقييم المخاطر والأدلة الخارجية بشكل مستقل.