هل تعيق نماذج الذكاء الاصطناعي إصلاح الكود بدلاً من تحسينه؟

في عالم البرمجة، تعتبر قدرة نماذج اللغات الكبيرة (LLMs) على كتابة وإصلاح الأكواد ميزة بارزة، لكنها ترافقها تحديات جديدة. دراسة جديدة تعرضت لمشكلة تُعرف بتجنب الحذف، حيث تظهر الأدلة أن هذه النماذج تحتفظ بالأكواد التي يتطلب التعديل حذفها، مما يؤدي إلى جعل مشاريع البرمجيات أصعب في الصيانة.

أظهرت التحليلات أنه على مدار خمسة من النماذج الرائدة في قائمة المراجعة الرسمية (SWE-bench)، يبلغ معدل استعادة الحذف 71.7% كحد أقصى، رغم أن هذه النماذج تستهدف الملفات الصحيحة لنسبة تزيد عن 92% من حالات الحذف المطلوبة، لكنها تنجح في حذف الخط المحدد في أقل من 52% من الحالات فقط.

عندما تتجاوز النماذج عقبة الحذف، وويل لها، تلجأ نسبة 29% من التصحيحات الناجحة إلى لف الكود المطلوب حذفه في حواجز أو بدائل، وهذا النمط يُعرف باسم "Guard-and-Go". هذا السلوك يظهر بوضوح عندما نعيد تصميم 34 مهمة للتحقق وتعديل الاختبارات للفشل إذا بقي الكود المستهدف، حيث تنخفض معدلات النجاح لنسبة النماذج إلى 41.9% بدلًا من 63.2%.

للتغلب على هذه المشكلة، قدم الباحثون ما يُعرف بمقياس CanItDelete، والذي يتكون من 200 مهمة مأخوذة من تعديلات حقيقية، حيث يتطلب الكامل فيها الحذف. حتى مع إزالة ضرورة العمل الإضافي، fails أفضل نموذج مرّة واحدة من كل خمس مرات، فيما تنخفض النماذج الأصغر إلى 18%.

عبر دراسة تجريبية، اتضح أن تعليم عمليات الحذف بعد التدريب يمكن أن يقلل من تجنب الحذف ويحسن الأداء في مجمل عمليات تحرير الكود. يشير هذا إلى أن هذه السلوكيات غير مدربة بشكل كافٍ، مما يثير التساؤلات حول مستقبل تطوير الأنظمة الذكية في المجال البرمجي.

المسألة تظل: هل سيكون التعليم الإضافي كفيلاً بحل هذه المشكلات؟ هذا ما سنكتشفه في المستقبل القريب.