تعتبر القدرة على فهم الشيفرة البرمجية من الخصائص الأساسية التي يجب أن تمتلكها نماذج اللغات الضخمة (LLMs) لتحقيق الاعتماد عليها في المهام البرمجية المتنوعة. في دراسة جديدة نشرت على arXiv، تم تقييم فعالية هذه النماذج في مواجهة مجموعة من التحديات التي قد تطرأ على الشيفرة.

ركزت الدراسة على فحص ما إذا كانت تلك النماذج قادرة على تقديم تفسيرات منطقية للشيفرة المكتوبة بلغة البرمجة بايثون، أم أنها تعتمد فقط على التخمين. استخدم الباحثون خمس تحولات تحافظ على المعاني (semantics-preserving mutations) وهي: إعادة تسمية المتغيرات، عكس التعبيرات المقارنة، تبديل الفروع في الجمل الشرطية، تحويل الحلقات من نوع for إلى while، وتفكيك الحلقات. هذه الإجراءات تهدف إلى الحفاظ على المعنى الوظيفي للشيفرة مع تغيير البنية الصياغية الخاصة بها.

تم تقييم تسع نماذج LLM، بما في ذلك نماذج مفتوحة المصدر ونماذج مغلقة الوصول، وقام محللون خبراء باستخدام LiveCodeBench لتحديد ما إذا كانت التنبؤات الصحيحة تستند إلى منطق سليم. جدير بالذكر أن نتائج الدراسة أظهرت أن النماذج الأكثر احترافية تحقق أعلى درجات دقة في التنبؤات، إلا أن التحليل أظهر هشاشة ملحوظة عند مواجهة التحولات التي تحافظ على المعاني.

أشارت النتائج إلى أن نماذج LLM المدربة على الشيفرة البرمجية تنتج توقعات صحيحة تستند إلى منطق غير سليم في 10-50% من الحالات. كما أظهرت النماذج تغييرات في التنبؤات استجابةً للتحولات، مع انخفاض في الأداء يصل إلى 70%. هذه النتائج تشير إلى أن النماذج لم تعد قادرة على تقديم تفسيرات مستقرة ومعتمدة على المعاني، حتى في الحالات التي تظهر فيها دقة ابتدائية مرتفعة.

في النهاية، تبرز هذه الدراسة الحاجة إلى تعزيز نماذج اللغات الضخمة بمزيد من القدرات المنطقية والقدرة على الفهم العميق للشيفرة البرمجية، لتكون فعالة حقًا في المجالات البرمجية. ما رأيكم في هذا التطور؟ شاركونا آرائكم في التعليقات.