ثغرات في بيئات تدريب الذكاء الاصطناعي: كيف تستفيد الأنظمة من الحلول الخاطئة؟

في عالم الذكاء الاصطناعي، تُعد بيئات التدريب البرمجية (Code RL environments) من أبرز الأدوات المستخدمة لتطوير نماذج التعلم الآلي. ومع ذلك، كشفت دراسة جديدة عن ثغرات مقلقة في هذه البيئات، حيث قبلت 28.5% من المهام حلولاً غير صحيحة كأنها صحيحة، مما يثير تساؤلات هامة حول مدى دقة هذه الأنظمة.

استندت الدراسة إلى تحليل 49 مهمة مختلفة من SWE-bench Verified، حيث كانت العديد من اختبارات التحقق ضعيفة بما يكفي لتسمح بتجاوز التصحيحات غير الصحيحة. وفي تحليل آخر على 20 مهمة من R2E-Gym، وُجد أن معدل قبول الحلول الخاطئة بلغ 25% في سياقات استغلال ذات جولة واحدة.

كما أجريت دراسة تحليلية شاملة على 134 نموذجًا متقدمًا في نفس المستوى من الصعوبة البشرية، وجاءت النتائج مثيرة للاهتمام؛ إذ كان معدل النجاح Pass@1 للنماذج المعنونة بالمخاطر مرتفعًا بمقدار 14.14 نقطة مئوية مقارنة بالنماذج الأكثر موثوقية.

لتجاوز هذه التحديات، تم اقتراح إجراء لتحصين المهام المكسورة. يتضمن هذا استخدام قاضٍ من نماذج اللغات الضخمة (LLM judge) مع بوابة تحقق من Docker، تقوم بتشغيل كل اختبار مولد ضد الحلول الذهبية قبل استشارة القاضي. وقد أظهرت النتائج الأولية أن 61.9% من الاختبارات المولدة بواسطة LLM فشلت في تجاوز الحل الذهبي، مما يدل على الحاجة الملحة لتحسين دقة الأنظمة.

عبر استراتيجية إعادة المحاولة المنحازة للتنوع، استطاع الفريق تحسين أداء 9 من أصل 11 مهمة مكسورة، ما يعكس آفاقًا جديدة لتطوير أنظمة تدريب أكثر موثوقية. هذه النتائج قد تلقي الضوء على كيفية تحسين صياغات الذكاء الاصطناعي وتطويرها لتحسين الأداء وتقليل الأخطاء.