في عالم الذكاء الاصطناعي، تعتبر إشارات عدم اليقين (Uncertainty Signals) من أهم المقاييس لقياس ثقة النموذج، مما يفتح آفاقاً جديدة في تطبيقات مثل تفسير النموذج واختيار البيانات. ولعل السؤال الأهم الذي يطرح نفسه: إلى أي مدى يمكن أن يسهم عدم اليقين في تحسين عملية生成 الشيفرات من خلال نماذج اللغات الكبيرة (LLMs)؟

أجابت دراسة جديدة عن هذا السؤال من خلال استقصاء آلية التراجع المعتمدة على إشارات عدم اليقين، وهي استراتيجية تركز على التراجع إلى أجزاء سابقة صحيحة من الشيفرة عند معالجة عدم اليقين، دون الحاجة إلى إعادة تدريب النموذج. وقد تم تقييم هذه الاستراتيجية على سبعة نماذج لتوليد الشيفرات، وخمسة معايير لقياس生成 الشيفرات، وثمانية إشارات لعدم اليقين على مستوى الرموز، في إطار موحد.

تظهر النتائج أن آلية التراجع الكاملة حسنت من الأداء مقارنةً بإعادة التشغيل المتساوية في الميزانية عبر المعايير والنماذج المدروسة، مع زيادة تصل إلى 0.26 في نسبة النجاح عند أول محاولة (pass@1) و0.35 في متوسط نسبة النجاح (AvgTestPassRate) في معايير生成 الشيفرات الوظيفية. كما تحقق تحسين مطلق يصل إلى 6.4% في معدل الأمان المتناغم (Patch-Aligned Safe Rate) على معيار Dsec-Python.

علاوة على ذلك، بينت الدراسة أن المقاييس المستندة إلى المعلومات، مثل منحنى الرموز ودرجة السلبية، كانت الأكثر نجاحاً بصفة عامة، حيث نجحت كثيراً في تحقيق أفضل النتائج على المعايير القياسية. كما أظهرت التجارب المرتبطة بأن التراجع المدعوم بالتغذية الراجعة كان المحرك الأساسي لتحسين الأداء، بينما أضاف تحديد عدم اليقين ميزات إضافية عند التحقق من التحقق، الميزانية، التراجع، وتآكل الفروع.

إن نتائج هذه الدراسة تبرز أهمية فهم عدم اليقين وكيف يمكن استخدامه لتعزيز فعالية نماذج اللغات الكبيرة في توليد الشيفرات، مما يشير إلى مستقبل مشرق للذكاء الاصطناعي في هذا المجال.