في عالم الذكاء الاصطناعي، لا تزال نماذج اللغة الكبيرة (Large Language Models) تتطور بسرعة مذهلة، وأحدث الأبحاث في هذا المجال تشير إلى تقنية جديدة تُعرف باسم DynMuon. هذه التقنية تعتبر خطوة ثورية في تدريب نماذج اللغة، حيث يجري تطبيق عملية تشكيل طيفي ديناميكية يتم خلالها تعديل معاملات التدريب بشكل فعال لتحسين الأداء بسرعة وكفاءة.

الاختلاف الجوهري الذي تطرحه DynMuon يكمن في استبدال مصفوفة التحديث التقليدية بمصفوفة ذات تركيب قطبي، مما يساعد على استغلال منحنيات الخسارة بطريقة أكثر فعالية. تشتمل النظرية الجديدة أيضًا على القدرة على ضبط معلمة مهمة تُعرف بـ (p) بناءً على عوامل متعددة، تشمل انحناء الدالة الخسارية، الضوضاء الناتجة عن التدرجات العشوائية، ومرحلة التدريب.

أظهرت التجارب أن استخدام القيم الإيجابية لـ (p) يساعد في المراحل الأولى من التدريب من خلال التركيز على الاتجاهات ذات الانحناء العالي، بينما القيم السلبية الطفيفة لـ (p) تكون فعالة في المراحل اللاحقة، حيث تعيد توزيع قوة التحديث نحو الاتجاهات الأقل انحناءً التي لا تزال تحتوي على إشارات تدريب مفيدة.

عبر مجموعة متنوعة من المخططات المعمارية وأحجام النماذج، نجحت DynMuon في خفض معدل الخسارة على البيانات المخصصة للتقييم بنسبة تتراوح بين 10.6% إلى 26.5%، مما يجعلها خيارًا جذابًا للباحثين والمطورين. في حين أن التطورات في نماذج اللغة لا تتوقف، تعكس DynMuon إمكانية هائلة لتحسين أساليب التدريب الحالية.