في عالم تطور الذكاء الاصطناعي، أصبحت نماذج التحويل الضخمة (Transformer Models) هي الأساس في توليد الأكواد البرمجية، إلا أن تكاليف هذه النماذج الكبرى تشكل عائقا أمام استخدامها على نطاق واسع، خصوصا في الحالات ذات البيانات المحدودة. وبهدف التغلب على هذه المشكلة، ظهرت نماذج التكرار الصغيرة (Tiny Recursive Models) التي تعتمد على إعادة استخدام كتلة واحدة لزيادة العمق بدلاً من تكديس طبقات مستقلة.

هذه النماذج، وعلى الرغم من بساطتها، تحتاج إلى تقييم دقيق لمدى فعاليتها. عادةً ما يتم تقييمها من خلال خسارة التعلم بالإجبار (teacher-forced fit) أو دقة المهمة عند نقطة زمنية معينة، في حين أن توليد الأكواد يتم بطرق حرة حيث يواصل النموذج إنتاج مخرجاته. لذا، يبقى التساؤل: هل تظل مزايا التعلم بالإجبار قائمة في حالة التوليد الحر، وكيف يتطور الأداء على مدار مراحل التدريب المختلفة؟

في دراسة حديثة، تمت مقارنة نموذج تكرار صغير بمعدل ~28 مليون معلمة (TRM-AR) في توليد الأكواد من اللغة الطبيعية إلى بايثون أمام نماذج تحكم متوافقة في المعلمات والعمق، متتبعة الأداء عبر 40 دورة وثلاث حبّات عشوائية. وقد أظهرت النتائج أن تصنيفات الأداء بين النموذج التكراري ونموذج التحكم القائم على العمق تتبدل مرتين خلال التجارب.

عند مقارنة الأداء عند نقاط تحقق معينة، تبين أن نموذج TRM-AR يتفوق في التوليد والتعميم بالمقارنة مع نموذج التحكم المتطابق في المعلمات، ويستعيد حوالي 45% من فجوة خسارة التحقق و57% من فجوة جودة التوليد بين النموذجين.

ومع ذلك، عند النظر إلى العمق الفعّال المشابه، يتضح أن النموذج الأكبر (transformer) يتفوق في التوليد عند أعلى مستوى للتحقق. وهذا يشير إلى أن ميزة TRM-AR تكمن في مقاومته للتكيف الزائد، وليس لقدرته الأفضل. هذه النتائج تدل على أن نماذج توليد الأكواد التكرارية يجب أن تُقيّم بشكل مشترك على أساس الأداء والتوليد عبر مسار التدريب بدلاً من مجرد نقطة زمنية واحدة.

فما رأيكم في هذا التطور الجديد؟ هل تعتقدون أن نماذج التكرار الصغيرة سيكون لها مستقبل بارز في تطوير البرمجيات؟ شاركونا آرائكم في التعليقات.