في عالم الذكاء الاصطناعي، تعتبر نماذج اللغة الصغيرة (Small Language Models) التي تتراوح بين 1 إلى 3 مليارات معلمة عملية للقوة التشغيلية، ولكنها تواجه تحديات مع المهام الأكثر تعقيداً في توليد الشيفرات البرمجية. في هذا السياق، تم إجراء دراسة جديدة تستكشف فكرة استخدام التعليقات أثناء التنفيذ (Execution Feedback) لإعادة القدرة المفقودة لهذه النماذج.

تقوم الدراسة بتحليل خطوط أنابيب لتوليد الشيفرات بدمج نماذج 1-3 مليار معلمة مع التعليقات التنفيذية، واستخدام إستراتيجية بحث تطورية مستوحاة من أسلوب NEAT لاختبار ما إذا كان الهيكل الأكثر تعقيدًا يساهم في تقديم أداء أفضل بخلاف دورة التحسين البسيطة.

النتائج، التي تم تقييمها من خلال اختبارات HumanEval وMBPP، أظهرت أن استخدام التعليقات التنفيذية يمكن أن يحسن من عمليات توليد الشيفرات بأكثر من 4 انحرافات معيارية على كلا المقياسين. وكشفت النتائج أن التعليقات تؤدي إلى تصحيح الكثير من الأخطاء التشغيلية، مثل NameError وSyntaxError، ولكنها نادراً ما تعالج أخطاء المنطق مثل AssertionError.

من بين النماذج المستخدمة، كانت قدرة المُصِّحح (Refiner) أكثر أهمية من هوية المُولِّد (Generator)، حيث أظهرت النتائج أن مُولِّد 1.5 مليار معلمة مع مُصِّحح 3 مليار قادر على تقديم نتائج مماثلة لنموذج 3 مليار يؤدي كلا الدورين. كما كان من الضروري إيقاف العمليات مبكراً؛ إذ بدون ذلك، كل تكرار يؤدي إلى نتائج سلبية.

تشير النتائج إلى أن النماذج المتخصصة في الشيفرات أفضل بكثير من أي تشكيل عام، مما يعني أن تخصص النموذج يلعب دوراً أكبر من هيكل خط الأنابيب.

في النهاية، يبدو أن التعليقات التنفيذية تُعتبر العامل الأهم في تحسين عمليات توليد الشيفرات، مما يفتح آفاقاً جديدة لتحسين نماذج الذكاء الاصطناعي وزيادة فعاليتها.