تُعد متجهات المقاييس (Scale Vectors) جزءًا محوريًا في نماذج اللغات الضخمة (Large Language Models) الحديثة، رغم أن دورها لم يُفهم بشكل جيد حتى الآن. في دراسة جديدة، تم تحليل هذه المتجهات من جوانب متعددة تشمل التعبيرية والتمثيل المعماري وتحسين الأداء.

#### الأثر الكبير لمتجهات المقاييس
أظهرت التجارب أن إلغاء متجهات المقاييس، والتي تشكل نسبة ضئيلة من إجمالي معلمات النموذج، يؤدي إلى تدهور كبير في أداء نموذج التعلم قبل التدريب. يظهر البحث أن متجهات المقاييس في المعمارية التي تسبقها عملية التطبيع (Pre-Norm) لا تعزز التعبيرية، بل تعزز تحسين الأداء من خلال تأثير التعزيز الذاتي.

#### دور تآكل الأوزان
كما تم دراسة تأثير تآكل الأوزان (Weight Decay) على متجهات المقاييس، حيث أظهر البحث فوائد لهذا التآكل في طبقات التطبيع التي تعتمد على الإدخال (Input-Norm)، لكن تأثيره كان سلبيًا في الطبقات التي تعتمد على المخرجات (Output-Norm). هذا الفهم يدفعنا لاقتراح تحسينات خفيفة ومتزامنة لمتجهات المقاييس، تشمل تنوع معين في الفروع، وتحسين توزيعها حول mappings الخطية.

#### تحسينات شاملة
أظهرت التجارب أن هذه التحسينات تؤدي لنتائج مثمرة في أداء نماذج اللغات الضخمة خلال عمليات تدريب مكثفة، مما يضمن تقليل الخسائر النهائية مع زيادة كفاءة النموذج. تضع هذه الدراسة أسسًا لفهم أعمق لدور متجهات المقاييس وفتح آفاق جديدة للتطوير في هذا المجال.