كسر القيود العالمية في الشبكات العصبية النبضية المعتمدة على المحولات: ابتكار ثوري في الانتباه الذاتي المحلي

تُعرف الشبكات العصبية النبضية (Spiking Neural Networks - SNNs) بكفاءتها العالية في أداء المهام الذكية، لكن دمجها مع الانتباه الذاتي العالمي (Global Self-Attention) في الشبكات المعتمدة على المحولات (Transformers) كان يحمل تحديات جوهرية. فالتحولات الحالية تعتمد غالبًا على استخدام طبقات التجميع القصوى (Max Pooling)، مما يؤدي إلى فقدان الكثير من الميزات الإقليمية الهامة. كما أن الانتباه الذاتي العالمي يتطلب تفاعلات معقدة بين جميع الميزات، مما يتسبب في زيادة متطلبات الحوسبة وقد يؤدي إلى إهدار الطاقة.

للتغلب على هذه التحديات، تم تطوير نموذج جديد يُعرف بLSFormer، الذي يعتمد على الانتباه الذاتي المحلي للنبضات (Local Structure-Aware Spiking Self-Attention - LS-SSA) وميزة تجميع الاستجابة النبضية (Spiking Response Pooling - SPooling). يقدم LSFormer طريقة مبتكرة تأخذ في الاعتبار التفاصيل المحلية والعلاقات بعيدة المدى باستخدام آلية نافذة محلية موسعة.

أظهرت الاختبارات أن LSFormer يتفوق بشكل ملحوظ على النماذج المتقدمة القائمة على التحويلات، حيث حقق أداءً مذهلاً على مجموعات بيانات صعبة مثل Tiny-ImageNet وN-CALTECH101. حيث سجل تحسينًا بنسبة 4.3% و8.6% على التوالي في دقة التصنيف العلوي، مما يشير إلى إمكانياته الكبيرة في دفع النماذج النبضية نحو تطبيقات الرؤية الواسعة النطاق.

هل تعتقد أن التقنيات الجديدة مثل LSFormer ستغير مستقبل الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات!