تقدم مذهل في كفاءة الشبكات العصبية: التقطيع الانتقائي لمعلومات المعرفة في الشبكات العصبية النابضة

تدور الأبحاث الحديثة حول الشبكات العصبية النابضة (SNNs)، التي تمثل قفزة نوعية في تصميم الشبكات العصبية، حيث تستلهم من آلية عمل الدماغ وتقدم كفاءة طاقة غير متوقعة. وعلى الرغم من ذلك، لا يزال هناك فجوة أداء ملحوظة بين الشبكات العصبية النابضة (SNNs) والشبكات العصبية الاصطناعية (ANNs).

عادةً ما يساعد تقنيات تقطير المعرفة (Knowledge Distillation) في تعزيز أداء الشبكات العصبية النابضة، ولكن الطرق الحالية تعتمد على محاذاة موحدة عبر جميع النقاط الزمنية، مما يفرض فرضيات غير دقيقة حول صحة التوقعات في كل بُعد زمني. يوضح الباحثون أن التوقعات في SNNs تتفاوت وتتطور مع مرور الوقت، وليس من الضروري أن تكون كل النقاط الزمنية صحيحة على حدة إذا كانت النتيجة النهائية صحيحة.

لتعزيز ذلك، تم تقديم تقنية جديدة باسم التقطيع الانتقائي لمعلومات المعرفة (Selective Alignment Knowledge Distillation - SeAl-KD)، حيث تقدم أسلوبًا متقدمًا لتحسين الأداء عن طريق تعديل المحاذاة المستهدفة على النقاط الزمنية غير الدقيقة. تعتمد هذه التقنية على إعادة وزن المحاذاة الزمنية بناءً على ثقة النموذج وتشابه التوقعات بين النقاط الزمنية.

أظهرت التجارب المكثفة على مجموعات بيانات الصور الثابتة وبيانات الأحداث العصبية تحسناً مطرداً مقارنةً بالطرق السابقة. للمزيد من التفاصيل، يمكنك الاطلاع على الكود المتاح على GitHub.