عندما لا تكفي الشكوك: دراسة تجريبية حول تصحيح الذات في توليد الأكواد

في عالم البرمجة الحديث، تعتمد العديد من التطبيقات على نماذج لغوية ضخمة (Large Language Models) لتوليد الأكواد، إلا أن وجود مشاكل تتعلق بدقة الحلول التي تنتجها هذه النماذج يزيد من أهمية البحث في كيفية تحسين أدائها. أجرت دراسة جديدة تحليلًا عميقًا حول فعالية تقديرات الشكوك (Uncertainty Estimation) ودورها في تصحيح الأخطاء في توليد الأكواد.

تشير الدراسة التي نشرت في arXiv إلى أن أغلب النماذج التي تم اختبارها تميل إلى إنتاج حلول غير صحيحة، وفي غياب مؤشرات موثوقة للفشل، قد يكون من الصعب تحديد مدى نجاح محاولة معينة. تم تقييم خمسة أساليب لتقدير الشكوك: متوسط انتروبيا الرموز (Mean Token Entropy)، وثقة الكلمات (Verbalized Confidence)، وP(True)، وتجميع الانتروبيا (Entropy Ensembles)، والاستفزاز الاستدلالي الدلالي (Semantic Entropy Probes)، عبر ثلاثة نماذج أكواد صغيرة على منصتي HumanEval وBigCodeBench.

أظهرت النتائج أن طريقة $P(True)$ متعددة العينات حققت أقوى علاقة مع صحة الحلول، بينما أظهرت الطرق الأخرى ارتباطًا ضعيفًا. قامت الدراسة باختبار ثلاث سياسات تصحيح ذاتي باستخدام إشارات الشك، وهي: فك الشفرات التكيفية (Adaptive Decoding)، وإعادة التوليد القائمة على الشك (Uncertainty-Based Regeneration)، وإعادة التحقق (Verification-Based Regeneration).

الغريب أن النتائج كشفت عن نتائج سلبية أكبر من المتوقع، حيث فشلت تقنيات تصحيح الذات القائمة على الشك في تحسين دقة Pass@1 في 5 من أصل 6 إعدادات استخدام، بينما أدت فك الشفرات التكيفية إلى تدهور الدقة في 4 من 6 إعدادات. كان الحل الوحيد الذي حقق تحسينًا موثوقًا هو إعادة التحقق، حيث حققت تحسينات تعادل من +6 إلى +26 نقطة مئوية في HumanEval ومن +8 إلى +20 نقطة مئوية في BigCodeBench، مع تدهور طردي مع قوة النماذج الأساسية.

تشير هذه النتائج إلى أن تقديرات الشكوك الزهيدة ليست كافية بمفردها لتحسين دقة الأكواد، وأن قيمتها العملية تكمن في استخدامها كإشارات لتشغيل دوائر تصحيح التكلفة الأعلى، بدلًا من أن تكون بدائل قائمة بذاتها للتحقق.