في عالم الشبكات العصبية، تعتبر دوال التنشيط (Activation Functions) عنصراً أساسياً يؤثر بشكل كبير على أداء الشبكة. ومع ذلك، فإن معظم الهياكل الحالية تظل معتمدة على دوال تنشيط ثابتة وموحدة. هنا تأتي استراتيجية SmartMixed كحل مبتكر.

تقوم SmartMixed بتطبيق استراتيجية تدريب من مرحلتين لتعليم الشبكات كيفية تخصيص دوال التنشيط لكل نيورون على حدة، مع الحفاظ على الكفاءة أثناء مرحلة الاستنتاج. في المرحلة الأولى، تقوم النيورات باختيار الأنسب لها من مجموعة من دوال التنشيط المرشحة مثل ReLU, Sigmoid, Tanh, Leaky ReLU, ELU, و SELU، باستخدام آلية خلط صلبة قابلة للاشتقاق. هذه الخطوة تضمن قدرة النيورات على التعلم التكيفي لدوال التنشيط التي تتناسب مع خصائصها.

أما في المرحلة الثانية، فإن دالة التنشيط الخاصة بكل نيورون يتم تثبيتها وفقاً للاختيار المُتعلم، مما يؤدي إلى شبكة ذات كفاءة حسابية مذهلة، تدعم الاستمرار في التدريب باستخدام عمليات موجهة مُحسّنة.

تم تقييم SmartMixed على مجموعة بيانات MNIST باستخدام الشبكات العصبية الارتدادية من هياكل متعددة. أظهرت نتائج التحليل أن النيورات في طبقات مختلفة تُظهر تفضيلات مميزة لدوال التنشيط، مما يقدم رؤى جديدة حول التنوع الوظيفي ضمن الهياكل العصبية. كما أثبتت التجارب أن SmartMixed تدرب الشبكة بفعالية من خلال السماح للنيورات باختيار دوال التنشيط المفضلة لديها، متنافسة بذلك مع نماذج تعتمد على دالة تنشيط ثابتة واحدة.

إن التطورات في SmartMixed تشكل خطوة مهمة نحو تحسين أداء الشبكات العصبية من خلال استغلال قوّة التخصيص، وفي الوقت نفسه تحسين الكفاءة الحسابية. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.