كيف تُشكِّل أنظمة هندسة الجيل تعقيد الشفرات في نظم نماذج اللغات الضخمة متعددة الوكلاء؟

في عالم تطوير البرمجيات، تَحولت آلية توليد الشفرات عبر نماذج اللغات الضخمة (Large Language Models) من الاعتماد على التحفيز الفردي إلى التنسيق المعقد المتعدد الوكلاء، والذي يتضمن أدواراً مختلفة مثل المحلل والمبرمج والمختبر ومصحح الأخطاء. في هذه الدراسة، قمنا بفحص 164 مهمة في منصة HumanEval، مع تقييم شفرات البرمجة الناتجة من خلال ست تكوينات متعددة الوكلاء مثل (Basic) و(AC) و(ACT) و(Debugger) و(AC+Debugger) و(ACT+Debugger) باستخدام نموذجين من عائلة GPT-4o.

تتطلب هذه الواجهات الفنية فهمًا عميقًا لمدى تأثير كل طبقة من طبقات التنسيق على تعقيد الشفرات. على الرغم من أن الأبحاث السابقة تناولت تعقيد الشفرات عند مستوى التحفيز، فإنه ما زالت هناك تساؤلات مفتوحة حول تأثير البنية العامة على هذا التعقيد. باستخدام خمسة مقاييس تعقيد تشمل (SLOC) و(تعقيد cyclic) و(Halstead Volume وDifficulty وEffort)، تم تحليل 1968 ملاحظة متزاوجة بين التكوينات.

أظهرت النتائج أن الأنظمة المعمارية تتقسم إلى مجموعتين غير قابلتين للتفريق، تفصل بينهما فجوة تعقيد تتراوح بين 50-130%. بينما أثبتت الطبقات المعمارية أن تقسيم المحلل والمبرمج يزيد من التعقيد، لم تُظهر مصححات الأخطاء أي تأثير ملحوظ في هذا الاتجاه. ومن المثير للاهتمام، أن الخلفية الخاصة بالمحلل والمبرمج تُخفض التعقيد، في حين أن المختبر يُعيد تضخيمه.

تشير الدراسة إلى أن زيادة التعقيد في الأنظمة الثرية لا تضمن ميزة في دقة النتائج، بل أظهرت الأنظمة الأكثر خفةً دقة تعادل أو تفوق تلك الأثقل. لذلك، ينبغي تبرير أي تعقيد معماري في توليد الشفرات من خلال فوائد واضحة في الأبعاد التي تهمنا، وليس الافتراض فقط.

بناءً على هذه النتائج، يمكن القول إن الابتكار في هندسة توليد الشفرات يجب أن يُعتمد على نتائج قابلة للقياس وليست مبنية على افتراضات مسبقة. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.