تفعيل الذكاء الاصطناعي: عائلة جديدة من الدوال الرياضية تحقق الأداء الأمثل للشبكات العصبية

في عالم الذكاء الاصطناعي، تعد دوال التفعيل (Activation Functions) أحد العناصر الحيوية التي تسهم في تحسين أداء الشبكات العصبية العميقة. على الرغم من أن دالة الوحدة الخطية المنقحة (Rectified Linear Unit - ReLU) تظل الخيار السائد لما تتمتع به من بساطة وكفاءة، إلا أن عدم سلاستها قد يشكل تحدياً أثناء تحسين النماذج. في هذا السياق، يأتي بحث جديد ليقدم عائلة من دوال التفعيل ذات السلاسة (C^{2N})، والتي تتبع دالة توزيع لوغاريتمية، مما يحقق أداءً مشابهاً لـ ReLU باستخدام حسابات عددية بسيطة.

تتضمن العائلة الجديدة ثلاثة متغيرات رئيسية:
- **GEM**: العائلة الأساسية من الدوال.
- **E-GEM**: تعمق في الخصائص المتغيرة، مما يتيح الاقتراب من ReLU بطرق متعددة.
- **SE-GEM**: نسخة متعددة الأجزاء، تهدف إلى القضاء على الخلايا العصبية غير الناشطة، مع الحفاظ على سلاسة الجنب (C^{2N}).

أثبتت دراسة الاستبعاد أن الأفضلية تكمن في استخدام **N=1** للنماذج ذات العمق القياسي، حيث تمكنت من تقليص الفجوة مع دالة GELU القياسية على مجموعة بيانات CIFAR-100 + ResNet-56 من 6.10% إلى 2.12%.

تتناول الدراسة أيضًا التبادل بين CNN وعناصر Transformer، حيث ينصح باستخدام **N=1** للأخير و**N=2** للأشهر في تصنيف CNN الأعمق. في مجموعة بيانات MNIST، تمكنت E-GEM من تحقيق أفضل أداء بتوافق يصل إلى 99.23%، بينما في CIFAR-10 + ResNet-56، تجاوزت SE-GEM دالة GELU بمعدل متفوق (92.51% مقابل 92.44%).

على صعيد آخر، حقق **GEM** أداءً مذهلاً على نموذج GPT-2 مع أدنى مستوى من ارتباك المعلومات (perplexity) (72.57 مقارنة بـ 73.76 لدالة GELU). كما تمكن **E-GEM** من تحقيق أفضل خسارة تحقق عبر جميع دوال التفعيل على بيث-صغيرة (BERT-small) (6.656).

هذه النتائج تشير إلى وجود أمور جديدة وغامضة في عالم DNNs قد تحدث ثورة في كيفية تصميم الشبكات العصبية في المستقبل.