في عالم البرمجة، تمثل نماذج اللغة الضخمة (Large Language Models - LLMs) ثورة تقنية في كيفية إنتاج الشيفرات البرمجية. إلا أن التحدي الأساسي الذي يواجهها هو ميلها لإنتاج كود غير صحيح من الناحية الوظيفية. يناقش الباحثون في دراسة جديدة ضرورة اللجوء إلى طرق قياس الكمية غير المؤكدة (Uncertainty Quantification - UQ) كوسيلة لتحديد الأخطاء وتحسين فعالية البرمجة.

توجهت هذه الدراسة إلى تقييم أساليب قياس الكمية غير المؤكدة عبر ثلاثة لغات برمجة، وخمسة نماذج للغة الكبيرة، ونحو 1,700 مسألة برمجية. وقد أسفرت النتائج عن كشف النقاب عن بعض الطرق التي تعتمد على احتمالية الرموز، حيث أثبتت فعاليتها بدون تعديلات. بينما فشلت الطرق المعتمدة على الاستدلال باللغة الطبيعية (Natural Language Inference - NLI) في معالجة الأخطاء الوظيفية، مما أدى إلى انهيار معظم الاستجابات في كتلة دلالية واحدة.

لتجاوز هذه العوائق، قام الباحثون بتقديم أساليب التكافؤ الوظيفي، والتي تستبدل التقويم الدلالي القائم على نماذج NLI بتقييم التكافؤ الوظيفي باستخدام LLM. ومن أبرز ما تم تقديمه هو مفهوم "الاعتلال الوظيفي"، وهو مقياس خاص بالكود ينظر إلى التنوع الوظيفي في مخرجات النماذج.

تعتبر النتائج مثيرة للإعجاب؛ حيث حققت أساليب التكافؤ الوظيفي أعلى نتيجة في 11 من أصل 15 مزيجًا بين النموذج والمعيار، بالإضافة إلى أفضل معايرة في معظم الإعدادات، مما أثبت أنها تتفوق باستمرار على أساليب NLI وغيرها من الطرق المتبعة.

إن هذه الدراسة تعيد رسم الحدود في كيفية معالجة الأخطاء البرمجية، وتفتح آفاقًا جديدة لمستقبل البرمجة المعتمدة على الذكاء الاصطناعي. ما رأيكم في هذه التطورات؟ شاركونا في التعليقات!