إعادة التفكير في إصلاح البرامج الآلي: تأثير تعقيد الأخطاء، تحديد الأعطال، وكفاءة التكلفة للغات الكبيرة

تظل الأخطاء البرمجية مشكلة حرجة أثناء تطوير البرمجيات، مما يبرز أهمية تقنيات إصلاح البرامج الآلية (Automated Program Repair - APR). وعلى الرغم من أن الأنظمة المستندة إلى نماذج اللغات الكبيرة (Large Language Models - LLM) قد أظهرت وعودًا كبيرة، إلا أن الدراسات السابقة قد ركزت بشكل أساسي على فعالية الإصلاح العامة دون النظر بشكل كافٍ في تعقيد الأخطاء، تحديد الأعطال، إعدادات التفكير، ومدى فعالية تكلفة الإصلاح.

تهدف هذه الدراسة إلى تقديم تحليل تجريبي شامل لتقنيات APR المعتمدة على LLM، مع التركيز على كيفية تشكيل أداء الإصلاح من خلال تعقيد الأخطاء، تحديد الأعطال، إعدادات التفكير، والتكاليف.

لقد قمنا بتقييم تقنيتين من تقنيات APR وهما ChatRepair وCodeCorrector باستخدام ثلاثة نماذج لُغوية (DeepSeek، GPT، وLlama). كما قمنا بفحص أدائها عبر مستويات مختلفة من تعقيد الأخطاء واستراتيجيات تحديد الأعطال من خلال إطار عمل تجريبي متعدد الأبعاد وتحليل إحصائي.

أظهرت النتائج أن الأخطاء ذات التعقيد الهيكلي المرتفع وتحديد الأعطال غير الدقيق يجعل عملية الإصلاح أكثر صعوبة، لكن تقنيات APR المدعومة بـ LLM لا تزال تحقق فعالية إصلاح تنافسية. كما يمكن أن يؤدي تحديد الأعطال غير الدقيق إلى اتساع الفجوة في الأداء بين تقنيات APR. بالإضافة إلى ذلك، فإن النماذج الأكثر تكلفة وإعدادات التفكير الأقوى لا تؤدي دائمًا إلى كفاءة تكلفة أفضل، مما يكشف عن وجود توازن معقد بين فعالية الإصلاح والتكلفة الحاسوبية.

تقترح الدراسة أن أكثر من 50% من الأخطاء المتوسطة التعقيد يمكن إصلاحها بواسطة تقنيات APR منخفضة التكلفة بالاعتماد على LLM. بينما يصبح الفارق في فعالية الإصلاح بين تقنيات APR أكبر كلما كانت عملية تحديد الأعطال أقل دقة. وتظهر الأرقام أن نموذج GPT-5 قد قام بإصلاح 7 و39 خطأ أكثر تعقيداً مقارنة بـ DeepSeek-V4-pro وDeepSeek-V3.2 على التوالي، بينما يحقق DeepSeek-V3.2 الأداء الأفضل من حيث كفاءة التكلفة الإجمالية.

هل تعتقد أن بإمكان الذكاء الاصطناعي إصلاح الأنظمة البرمجية بشكل أكثر كفاءة؟ شاركونا آرائكم في التعليقات!