هل توفر الإشارات قيمة حقيقية في توليد الأكواد؟ تحليل مثير من دراسات جديدة

في دراسة حديثة نشرت على arXiv، تم تناول دور الإشارات (hints) في عملية توليد الأكواد البرمجية. هل تساعد هذه الإشارات فعليًا في تحسين أداء النماذج، أم أنها تتيح فقط توجيه النموذج نحو حلول كان بإمكانه الوصول إليها بطريقة أخرى؟

أجريت الأبحاث على مجموعتين مختلفتين، هما HumanEval+ و MBPP+، باستخدام تقييمات تنفيذية للتأكد من فعالية هذه الإشارات. النتائج التي تم التوصل إليها أظهرت أن النموذج Qwen2.5-3B-Instruct كان قادرًا على استعادة 36 من بين 79 حالة فشل بفضل الإشارات الملائمة، بينما أنقذت الإشارات غير المرتبطة 19 حالة فقط.

بينما يتمكن النموذج نفسه من حل 46 حالة فشل بدون أي إشارات، مما يشير إلى أن عددًا من الحلول يمكن الوصول إليها بدون الحاجة للإشارات. نموذج Phi-3.5-mini أظهر نمطًا مشابهًا، حيث أنقذ 42 من 101 فشل بفضل الإشارات الملائمة.

وعلى الرغم من وجود تقدم في الأداء، تبين أن الحضور المستمر للإشارات الملائمة لم يُبرز فقط تحسنًا دلاليًا صافيًا. ومع تجربة ثانية على نموذج Qwen، تم تحديد اتجاه تنشيط مستقر يشكل رابطًا بين الإشارات الملائمة وغير الملائمة.

تُظهر النتائج العامة أن الإشارات يمكن أن تُساهم في إنقاذ الحلول الفاشلة، لكنها لا تُبرز قدرة التعلم على تجاوز التطبيق بشكل عام. في نهاية المطاف، تبرز الدراسة أهمية فهم دور هذه الإشارات وما إذا كانت فعلاً تسهم في تحسين الكفاءة أم لا.