في عالم معالجة البيانات وتحليل الأكواد، يعتبر LoopCoder-v2 طفرة جديدة وإبداعية تساهم في تقليل الزمن المستغرق في معالجة البيانات عبر تطبيق نماذج Transformers. تعتمد هذه التقنية على فكرة استخدام حلقات متكررة لتحسين الكفاءة، حيث تستخدم حلقات Loop لتطبيق كتل مشتركة، لكنها تواجه تحديات تتعلق بالزمن وذاكرة KV-cache مع زيادة عدد الحلقات.

يتمثل الحل في تقنية Parallel Loop Transformers (PLT) التي تخفف من هذه التكاليف من خلال استخدام ترميزات مختلطة لمواقع الحلقات (CLP) واهتمام بين نافذة منزلق مشترك، مما يجعل عدد الحلقات خيار تصميم عملي. من خلال دراسة مفصلة حول اختيار عدد الحلقات في PLT، نجد أن الحلقة الإضافية قد تساعد في تحسين التمثيلات، لكن CLP قد يتسبب في تطابق غير دقيق عند كل حدود حلقة.

تم تطبيق هذه الدراسة من خلال تدريب LoopCoder-v2، مجموعة من 7 مليارات من PLT coders مع عدد حلقات مختلف، على 18 تيرابايت من البيانات، متبوعًا بتعديلات متناسقة وتقييم شامل.

تبين النتائج التجريبية أن النسخة ذات الحلقتين تقدم تحسينات كبيرة على النسخة غير المتكررة، حيث ارتفعت نتائج benchmark SWE-bench Verified من 43.0 إلى 64.4 نقطة، وMulti-SWE من 14.0 إلى 31.0 نقطة. بينما، كانت النسخ التي تحتوي على ثلاث حلقات أو أكثر تشير إلى تدهور في الأداء، مما يوضح تأثير عدد الحلقات بشكل غير خطي.

تشير تحليلاتنا إلى أن الحلقة الثانية توفر التحسين الأكثر إنتاجية، بينما تؤدي الحلقات اللاحقة إلى تحديثات متناقصة وضعف تنوع التمثيل. ومع ذلك، يبقى تباين الموقع الناتج عن CLP ثابتًا تقريبًا مع تراجع الفوائد، مما يجعل التكلفة الناتجة عنه تهيمن بشكل متزايد. وهذا التوازن بين المكاسب والتكاليف يفسر مشكلات PLT عند الاعتماد على الحلقات ويعطي إرشادات لاختيار عدد الحلقات الأمثل.