في عالم الذكاء الاصطناعي، تعتبر نماذج اللغة الكبيرة (Large Language Models) جزءاً أساسياً من التطورات التكنولوجية الحديثة. ومن بين التقنيات التي أثبتت فعاليتها، تأتي تقنية التطبيع قبل الطبقات (Pre-Layer Normalization) كخيار شائع لتوفير استقرار أثناء التدريب. ولكن، هل فكرت يومًا في عيوب هذه التقنية؟

تعاني تقنية التطبيع قبل الطبقات من بعض المشكلات، أبرزها تكاليف الحساب المتكررة والقدرة على تحمل العمق، حيث يميل ارتفاع عدد الطبقات إلى تعقيد الأمر ويؤدي إلى زيادة غير مقبولة في شدة القيم ومعاييرها، مما قد يؤدي إلى عدم استقرار عملية التدريب.

إليك الحل: Bounded Hyperbolic Tanh (BHyT)! هذه التقنية المبتكرة تعد بديلاً محتملاً لتقنية التطبيع السابقة. تجمع BHyT بين وظيفة عدم الخطية 'tanh' مع عملية تحديد مدخلات قائمة على البيانات، مما يحافظ على تنشيط القيم ضمن نطاق غير مشبع. بهذه الطريقة، تمنع هذه التقنية من نمو شدة القيم ومعاييرها خلال عمق النموذج وتضمن استقراراً نظرياً.

ما يميز BHyT أيضاً هو كفاءتها في العملية الحسابية، حيث تحسب الإحصاءات الدقيقة مرة واحدة لكل كتلة وتستبدل التطبيع الثاني بتقريب خفيف الوزن للانحرافات. وفقًا للتجارب، حققت BHyT استقرارًا وكفاءة محسَّنة خلال عملية التدريب، حيث تسجل متوسط سرعة تدريب أعلى بنسبة 1.6%، وزيادة قدرها 1.77% في إنتاج الرموز مقارنة بأسلوب RMSNorm، مع الحفاظ على أداء قوي في اختبارات الفهم اللغوي والتفكير.

إذا كنت تبحث عن تحسين نموذجاتك وتحقيق أداء أعلى، فإن تجربة BHyT قد تكون الخطوة المقبلة التي يجب عليك اتخاذها!