تعتبر بنية الترانزفورمر (Transformer Architecture) الأداة الأكثر فاعلية في معالجة اللغة الطبيعية، لكنها تواجه تحديات كبيرة في استهلاك الطاقة نظرًا لعدد العمليات المعقدة التي تتطلبها. لمواجهة هذه المشكلة، تم التفكير في استخدام الشبكات العصبية النابضة (Spiking Neural Networks) التي تقدم بديلاً فعالاً للطاقة مقارنة بالشبكات العصبية التقليدية (Artificial Neural Networks) بفضل نهجها المدفوع بالحدث في معالجة المعلومات.

ومع ذلك، فإن تدريب هذه الشبكات العصبية النابضة يعد تحديًا كبيرًا. حيث تلجأ العديد من النماذج المستندة إليها إلى تحويل الشبكات العصبية التقليدية المدربة مسبقًا. وفي الآونة الأخيرة، تم العمل على تصميم نماذج شبكة عصبية نابضة قابلة للتدريب مباشرة بناءً على هيكل الترانزفورمر. ورغم أن النتائج كانت واعدة، إلا أن التطبيقات كانت تقتصر على رؤية الكمبيوتر.

هنا يظهر العرض الخاص بنا: SpikeDecoder، وهو تنفيذ كامل قابل للتدريب من كتل فك التشفير للترانزفورمر، المخصص لتطبيقات معالجة اللغة الطبيعية. في سلسلة من التجارب، نقوم بتحليل تأثير استبدال كتل مختلفة في نموذج ANN ببدائل نابضة، للتعرف على التبادلات وأسباب فقدان الأداء.

كما ننظر في دور الاتصالات المتبقية واختيار تقنيات التطبيع المتوافقة مع الشبكات العصبية النابضة. بالإضافة إلى ذلك، نقوم بصياغة ومقارنة طرق مختلفة لتحويل بيانات النص إلى إشارات نابضة.

وأخيرًا، نبرز أن كتلة فك التشفير المستندة إلى SNN التي نقترحها تقلل من استهلاك الطاقة النظرية بنسبة تتراوح بين 87% إلى 93% مقارنةً بالنموذج التقليدي.