في عالم الذكاء الاصطناعي، تبدو الشبكات العصبية المشبكية (Spiking Neural Networks - SNNs) كبديل واعد للشبكات العصبية التقليدية. فهي تقدم حلاً فعالاً من حيث الطاقة من خلال حسابات مستندة إلى الأحداث النادرة. ومع ذلك، لا تزال عملية تدريبها تمثل تحدياً كبيراً، بسبب الحاجة إلى استخدام تدرجات بديلة (Surrogate Gradients) لا يمكن تفرعها، مما يؤدي إلى صعوبات تتعلق بالشكل الثابت لهذه التدرجات عبر الطبقات والمراحل التدريبية.

ولكن، لدينا الآن ابتكار جديد في الأفق! تم تقديم SAGE، وهي آلية تعتمد على عدم اليقين لتعديل تدرجات البديلة في الشبكات العصبية المشبكية المعتمدة على تقنيات الترنسفورمر (Transformers). تستفيد SAGE من معلومات عدم اليقين المستخلصة من انتروبيا الانتباه الذاتي (Self-Attention Entropy) لضبط منحدر التدرج البديل أثناء التدريب، مع الحفاظ على نموذج الاستدلال دون تغيير.

باستخدام هذه التقنية، يسمح SAGE بتحسين مرونة تحسين الأداء دون الحاجة إلى تغيير في التكلفة الأصلية للبنية المعمارية. وتشير التجارب التي أجريت على مجموعات بيانات CIFAR-10 وCIFAR-100 إلى أن SAGE حقق تحسينات ملحوظة في الدقة، تصل إلى 1-2% على مدى عدة مراحل زمنية في المحاكاة.

يُعتبر هذا الابتكار بمثابة إشارة إيجابية للمستقبل، حيث تفتح SAGE الأبواب أمام استخدام عدم اليقين المستمد من الانتباه كإشارة تدريب خفيفة الوزن في تعلم التدرجات البديلة ضمن الشبكات العصبية المشبكية المعتمدة على الترنسفورمر.