في عالم الذكاء الاصطناعي، تعتبر وظائف التنشيط (Activation Functions) عاملًا حاسمًا في أداء الشبكات العصبية. اليوم، نسلط الضوء على SG-Blend، تقنية جديدة تعد بإحداث ثورة في هذا المجال. تم تصميم SG-Blend لتكون أكثر مرونة من وظائف التنشيط الحالية مثل Swish و GELU، والتي تميل إلى الوصول إلى أمثلية متعلقة بالنطاق المحدد.

تم اكتشاف وظيفة Swish عبر بحث معماري عصبي يعتمد على معايير الرؤية، بينما تهيمن GELU على نماذج اللغة المستندة إلى المحولات (Transformers). لكن كلاهما يفتقر إلى القدرة على التكيف مع شكل الفتحات في الطبقات الفردية، مما يسبب مشاكل خطيرة خاصة في كتل الشبكات العصبية.

يقترح الباحثون في SG-Blend دمج SSwish، وهو نسخة محسنة من Swish، مع القدرة على التكيف على مستوى الطبقة. هذا يجعل من الممكن لكل طبقة العثور على الأمثل لها على طول استمرارية SSwish-GELU، مع إضافة ثلاثة أرقام إضافية فقط لكل كتلة الشبكة.

أظهرت النتائج أن SG-Blend، عند تطبيقها على تصنيف IMDB باستخدام نموذج BERT، تحقق دقة تصل إلى 81.31% مع تقليل التباين بين النتائج المختلفة بنسبة 42% مقارنة بـ GELU. والأكثر إثارة للدهشة، أنها تحقق أقل تعقيد للتحقق (Validation Perplexity) في WikiText103 مقارنة بجميع الخطوط الأساسية الأخرى.

تتجاوز فائدة SG-Blend النماذج اللغوية، حيث أظهرت قدرتها على تعميم الأداء القوي في مجموعة متنوعة من المهام، بما في ذلك رؤية الكمبيوتر.

في نهاية المطاف، يقدم هذا الابتكار الجديد أملاً كبيرًا لمستقبل الذكاء الاصطناعي، مع إمكانية تحسين أداء الشبكات العصبية في مجالات متعددة.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات!