في خطوة ثورية تهدف إلى تحسين عمليات التدريب في الذكاء الاصطناعي، قدّم الباحثون نظامًا جديدًا يعتمد على تحسينات خوارزمية الميون (Muon) التي تعتمد على مبدأ القرب من العموديات (Orthogonality). على الرغم من الأداء القوي الذي حققته هذه الخوارزمية في تحديات التدريب الكبيرة، كانت العقبة الرئيسية هي الخطوة المكلفة لتخطيط التدرجات. ولكن مع تقديم الإجراء الجديد الذي يحسن من بدء تنفيذ تكرارات نيوتن-شولز، تم تجاوز هذه العقبة.

الإجراء التحضيري الذي تم تطويره يساهم في تقليل الخطأ الأولي بطريقة فعالة ويتيح إزالة إحدى خطوات التكرار المستخدمة غالبا، وهو ما يسهم بشكل كبير في تقليص الوقت المستغرق.

لقد أظهرت الدراسات التزامنه مع تنفيذ تجارب معيارية، حيث تم تحقيق تحسينات ثابتة في زمن التشغيل، متضمنة تقليص زمن التدريب بنحو 3% في مقاييس التدريب السريعة، مع الحفاظ على الأداء المرجعي في المهام اللغوية والمرئية. والأهم من ذلك، أن هذه التحسينات لا تتطلب ضبطًا معقدًا للمعلمات، ويمكن اعتمادها كبديل بسيط وسهل في التنفيذ.

ما يميز هذا الابتكار هو أنه لا يقتصر فقط على تحسينات نظرية بل يوفر أيضًا رؤى حول هندسة التحديث ومرونتها المحتملة ضد تدهور الميزات. ولتسهيل عمل الباحثين والمطورين، تم نشر الشيفرة المصدرية على منصات GitHub، مثل Optax وHugging Face Kernels.

كيف يمكن أن تؤثر هذه الإنجازات على مجالات الذكاء الاصطناعي بشكل عام؟ شاركنا برأيك في التعليقات!