في عالم الذكاء الاصطناعي وتعلم الآلة، تبرز قوة المحسنات العالية مثل SOAP (المحسن التكيفي) وMuon، والتي تقدم فرصًا أكبر لتحقيق استقرارية أفضل وسرعة أكبر في عملية التدريب. هذه المحسنات تفوقت على ألجوريثم التقليدي مثل AdamW، ولكن استخدامها كان محدودًا بسبب تحديات الاستقرار والتكلفة الحسابية.

هذا البحث الجديد يعالج هذه القضايا عن طريق تعديل طرق الانحدار المتكيف، مما يساعد في تحقيق إنجازات كبيرة في تدريب نماذج اللغات الضخمة (Large Language Models). تم تحديد حالات عدم الاستقرار في مكتبة SOAP عند استخدام أحجام دفعات كبيرة، وتم اقتراح تعديلات خوارزمية مثل QR orthogonalization لكل خطوة واستراتيجيات تحسين لتعزيز استقرار التدريب.

من خلال التجارب على النماذج التي تحتوي على مليارات المعلمات وتم تدريبها على تريليونات من الرموز، أظهرت النتائج أن SOAP وMuon توفر استقرارًا وجودة تدريب أفضل مقارنةً بـ AdamW، خاصة عند استخدام أحجام دفعات تصل إلى 100 مليون رمز. ولزيادة الفعالية في التدريب على نطاق واسع، تم تقديم محسن موزع على مستوى الطبقات متوافق مع Megatron-LM، مما يعزز استقرار الذاكرة ويحسن من كفاءة التواصل بين العمليات.

لإفادة المجتمع البحثي، تم توفير قاعدة أكواد تحتوي على الخوارزميات الناشئة في مجال التحسين لتعزيز التعاون وتسهيل تطوير التقنيات الجديدة. لا يمكن إنكار أن هذه التحسينات ستساهم في دفع مجال الذكاء الاصطناعي قدمًا، مما يبشر بأفق جديد لمستقبل نماذج التعلم العميق.