كيف يمكن لنموذج متعدد الوكلاء تقييم الشيفرة البرمجية بدقة؟ استكشاف قياسين بدون علامات!

في عالمنا المتسارع في التطور التكنولوجي، يواجه الذكاء الاصطناعي العديد من التحديات المتعلقة بتقييم شيفرات البرمجة. غالبًا ما يؤدي نموذج لغوي (Language Model) في حالة حكمه على صواب شيفرة معينة إلى إصدار حكم يؤيد أو يرفض الشيفرة، دون توضيح واضح لمصدر هذا الحكم. ولكن، ماذا لو كانت هناك طرق أكثر موضوعية وشمولية لتقييم الكود البرمجي؟

تظهر الأبحاث الأخيرة أن التحقق من صحة القرارات من خلال أساليب متعددة الوكلاء (Multi-Agent Verification) يمكن أن يكون أسلوبًا واعدًا. تقوم هذه الأساليب بتوزيع الحكم إلى claims يمكن تدقيقها والتحقق منها بناءً على الأدلة المتاحة. ولكن من أجل نجاح هذا النموذج، يجب أن تكون الأدلة مستقلة عن الإجابة تحت المراجعة، وأن تختلف بين المرشحين الذين يتم مقارنتهم.

أجرينا تجاربنا باستخدام إطار عمل يُسمى MARCH، حيث قمنا بتطبيقه على قياسات مختلفة لتقييم شيفرتين برمجيتين. ومن خلال هذه التجارب، وجدنا أن النموذج يميل إلى منح كلا الحلين نفس درجة الجودة في 78 إلى 95% من المقارنات. بينما معدل الدقة المباشر للنموذج بلغ كان 43.7%، لكن بطريقة أو بأخرى في القياسات التي تستند إلى الأدلة المسترجعة، لم ترتفع الدقة بشكل ملحوظ.

وما يثير الإعجاب، هو ما تم اكتشافه من خلال قياسين يتم جمعهما من سجلات عمل النموذج، مما يمكننا من تحديد متى يُفضل وقف المقارنة، وبالتالي تحسين الدقة من 20.7% إلى 36.9% دون الحاجة إلى علامات.

يعتبر هذه الإسهام ليس فقط تحسين الدقة لمحكم برمجي، بل وسيلة جديدة لتحديد متى لا يكون للأسئلة المطروحة أي أساس. ومع هذه الابتكارات، يُسهم الذكاء الاصطناعي في تقديم تفسيرات أكثر دقة وأهمية في تقييم الشيفرات البرمجية.