هل يمكن لنماذج اللغات الضخمة إصلاح الأخطاء بدون كود؟ خطوات نحو التحقق الآلي من إصلاح الأخطاء بلا كود

في عالم البرمجة والتكنولوجيا، تُعد الأخطاء البرمجية مصدر قلق مستمر للمطورين. فالتحقق من صحة الإبلاغ عن الأخطاء وإيجاد الحلول الفعالة لها يتطلب جهداً كبيراً من المطورين. لكن، ماذا لو أمكننا استخدام تقنية الذكاء الاصطناعي للتقليل من هذه الجهود؟ هذه الفكرة هي ما استهدفته دراسة حديثة تم نشرها على منصة arXiv، والتي اقترح فيها الباحثون مشروعاً لتقييم قدرة نماذج اللغات الضخمة (LLMs) في توليد إصلاحات للأخطاء دون حاجة لكتابة أي كود.

يُعرف إصلاح الأخطاء بلا كود بأنه تلك العملية التي تساعد المستخدمين على حل مشاكل البرمجيات من خلال توجيهات بسيطة، مثل تغيير إعداد مُعين أو تحديث إلى نسخة جديدة انتفى فيها الخلل. وقد قام الباحثون بتطوير خط أنابيب آلي يعتمد على التنفيذ لتقييم هذه الإصلاحات في بيئة حقيقية.

في دراستهم، قاموا بتقييم 322 إصلاحاً تم توليدها بواسطة 12 تكوين مختلف تم إطلاقها مع دراسة سابقة. وقاموا باستخدام ثلاثة مُنفذين: وكيلين مختصين في استخدام الحاسوب هما OpenCUA-72B وClaude Sonnet 5، إضافةً إلى واحد ينتمي لنماذج اللغات الضخمة المتعددة الاستخدامات، وهو Muse Glimmer من شركة ميتا. وعند مراجعة النتائج، تبين أن 17.6% فقط من القضايا تم الإعداد لها بنجاح وتجاوزت اختبارات صحة الأساس.

بينما أظهرت النتائج أن نسبة الإصلاحات التي تنجح في معالجة الخطأ تتراوح بين 14.6% إلى 49.7% حسب الأداة المستخدمة. والأكثر إثارة كان أن التكامل الأقوى، Claude Opus 4.6 في خط أنابيب الفانيلا، نجح في إصلاح حتى 74.1% من الأخطاء.

ومع ذلك، يظل الأمر قائماً بأن أقل من نصف الإصلاحات التي تولدها نماذج اللغات الضخمة قادرة على حل الأخطاء المُبلغ عنها، مما يستدعي ضرورة التحقق من هذه الإصلاحات قبل تقديمها للاستخدام العام. ويبرز البحث أهمية التحقق القائم على التنفيذ، لكنه يلفت انتباهنا أيضاً إلى أن فعالية التحقق تعتمد بشكل ملحوظ على الأداة المستخدمة، مما يتوجب على التقييمات المستقبلية توخي الحذر في هذا الصدد.

في نهاية المطاف، يطغى سؤال ملح: هل نحن مستعدون لتبني نماذج اللغات الضخمة في مجالات أكثر حساسية مثل إصلاح الأخطاء البرمجية؟ ما رأيكم في هذا التطور؟ شاركونا في التعليقات.