في هذا المقال، نسلط الضوء على دراسة حديثة تناولت تأثير تصميم مكونات وحدات الـ Transformer على كيفية بقاء الدرجة (Rank) في الشبكات العميقة مع زيادة العمق. تعتبر الـ Transformer واحدة من أبرز النماذج المستخدمة في الذكاء الاصطناعي، وفهم كيفية عمل هذه الهياكل المعمارية يمكن أن يكشف عن ربحات وإخفاقات هامة في أدائها.

تتضمن الدراسة إعادة تفسير الروابط المتقطعة (Skip Connections) وتطبيع القيم (Normalization) التي كانت تُفهم تقليدياً على أنها أدوات للتحكم في المقدار، حيث تُعتبر الآن آليات للحفاظ على درجة التدرج (Gradient Rank) على مختلف الأعماق.

تظهر النتائج أن الروابط المتقطعة تُوازن بين انهيار الدرجة وسلوك أشبه بالتجميع (Ensemble-like Behavior)، حيث تقوم بتوجيه التدرجات بعيداً عن الفرع المتبقي (Residual Branch) الذي قد يفقد درجة التدرج، بدلاً من المسارات الطويلة التي تشجع الطبقات على التآلف.

أيضاً، يُحدد مكان إدراج طبقة التطبيع كيف يؤثر هذا التوازن على القرارات المعمارية. فعلى سبيل المثال، لماذا قد تنهار الدرجة بعد التطبيع (Post-Norm) وتستقر قبل التطبيع (Pre-Norm).

إضافة إلى ذلك، تصمم هيكلية اثنين من المصفوفات لتوسيع وتقليص العرض بينما تستخدم معلمات إضافية للحفاظ على تمثيل الدرجة.

بشكل عام، تُعيد هذه الدراسة مفهوم التصميم المعماري لشبكات الذكاء الاصطناعي العميقة بشكل يتبنى توازناً داخلياً بين انهيار الدرجة، السلوك التجميعي، وعدد المعلمات.