في عالم البرمجيات المتقدم، يتزايد الاعتماد على نماذج اللغة الضخمة (Large Language Models) لأغراض إصلاح الأخطاء. هذا الاعتماد يأتي مع تحديات؛ إذ تشير دراسة جديدة إلى أن ما يقرب من 46% من الاختبارات التي تعطي نتائج إيجابية قد لا تكون مؤشراً موثوقاً على إصلاح الأخطاء المطلوبة.

تم استخدام تحليل خاص يعرف بـ BSG-VA (تحليل التحقق من الحالة المحتملة/ الحالة المرشحة/ الإصلاح الذهبي) في الدراسة، حيث يقيس كفاءة نتائج الاختبارات من خلال التعرف على حالة الشجرة العاملة المحددة عند تنفيذ كل أمر تحقق. يُعد هذا التحليل بمثابة أداة حيوية للمساعدة في تصنيف النتائج إلى فئات مختلفة، بدءًا من أدلة موثوقة في رصد الأخطاء إلى معلومات مضللة.

تتضمن الدراسة 3,730 حادثة عبر 643 تنفيذًا لعمليات الإصلاح، على 110 مهمة، ليظهر أن 23.8% من عمليات الإصلاح الأساسية لا تقدم أي معلومات قيمة. استخدمت التجارب أيضًا ملاحظة مرتبطة بمخرجات Replay لتقييم أثرها على تحسين نتائج الكشف عن الأخطاء. وأشارت النتائج إلى تقليص العيوب المعتمدة على أدلة غير كافية بمعدل 7.8 نقطة.

رغم ذلك، تظل الشكوك قائمة بشأن إمكانية الاعتماد على النتائج العملية، حيث أن التقديرات المطلوبة لم تصل إلى الحد الأدنى المتوقع من الأثر الإجمالي. عبر تجارب استكشافية إضافية، لوحظ أن التأثير الإيجابي كان ضعيفًا إلا على نموذج gpt-5.6-sol تحت ظروف استخدام الأدوات غير المقيدة.

تحمل هذه النتائج أهمية خاصة في مجالات تطوير البرمجيات، إذ تطرح تساؤلات حول فعالية نماذج اللغة الضخمة في استخداماتها العملية، وقد يكون لها تأثير كبير في كيفية قيام المطورين بتطبيق أدوات إصلاح البرمجيات المستقبلي.