في عالم الذكاء الاصطناعي، يعد التدريب على نماذج اللغة الضخمة (Large Language Models) عملية معقدة ومكلفة. تتحدد فعالية هذا التدريب بشكل رئيسي من خلال كيفية تحويل كل خطوة من خطوات الانحدار إلى تحديث للوزن، ويعتبر المُحسّن (Optimizer) هو العنصر القائد في هذه العملية. من بين المحسّنات المعروفة، برزت أداة Muon بشكل خاص، حيث أثبتت قدرتها على كسر الأرقام القياسية في اختبارات التدريب العامة.

لكن ما الذي يجعل اتجاهات Muon فعالة؟ وكيف يمكن لأحد المحسّنات أن يدرك المدة الزمنية المثلى لتخزين الزخم (Momentum) أثناء التدريب؟

تقدم الدراسة الجديدة نموذجًا فيزيائيًا لعلاقة أوزان النموذج خلال التدريب، حيث يتم اعتبار المصفوفة الوزنية بمثابة وسط تفاعلي يمتك ذاكرة. وفقًا لهذا النموذج، يتم تفسير فعالية الاتجاه نصف العمودي (Semi-Orthogonalized Direction) على أنه الاستجابة الأكثر إمكانية للتشتت في ظل ميزانية أمان معينة.

أيضًا، يتناول هذا النموذج كيفية تراكم الزخم كضغط داخلي، مما يحدد المدة الزمنية التي ينبغي فيها إدخال الزخم. تظهر النتائج أن هذا الضغط يتراخى على أكثر من مقياس زمني، مما يقودنا إلى ابتكار مُحسّن جديد يُدعى Bi-Maxwell.

تأثير هذا النموذج يقترح أن م directional gradients تتغير بسرعة في المراحل المبكرة من التدريب وتصبح أبطأ لاحقًا، ما يعني أن الذاكرة المثلى يجب أن تنمو مع تزايد مراحل التدريب. وقد أظهرت القياسات التدريجية باستخدام أداة قراءة بمسار ثابت في 8 مسارات تدريب مستقلة توافقًا مع هذا الافتراض.

باستخدام نهج ثنائي في زاوية الذاكرة، استطاع الباحثون تحقيق الهدف المتمثل في تقليل الخطأ بكفاءة أكبر خلال خطوات تدريب أقل من خلال نماذج اللغة العامة.

إن الابتكار في الذكاء الاصطناعي لا يتوقف هنا، فما زال هناك الكثير من الاكتشافات في الأفق. هل أنتم مستعدون لمعرفة المزيد عن هذه التطورات المثيرة؟