تعتبر عمليات إزالة الوزن القائمة على الأهمية واحدة من الطرق الأكثر ابتكارًا في معالجة الشبكات العصبية. ومع ذلك، يعتمد معظم هذه العمليات على شدة الفلاتر، وهو ما يُعد عيبًا جوهريًا بسبب التباين في القياسات التأثيرية. في هذا السياق، ظهر إطار عمل جديد يُعرف بـ IPPRO (إزالة الوزن بناءً على الأهمية مع الإزاحة التوجهية) كحل فعال.

تستند تقنية IPPRO إلى الهندسة الإسقاطية، حيث يتم تضمين الفلاتر في الفضاء الإسقاطي الحقيقي ($\mathbb{RP}^N$). هذه النهج يحل مشكلة التفرد عند النقطة صفر، مما يضمن أن جميع الفلاتر تبقى بنفس المسافة الزاوية من الفلتر الصفري. من خلال قياس انزياح الفلتر نحو الصفر باستخدام خطوة تدرج واحدة، تمكنا من تحديد مؤشر PROscore، والذي يُعبر عن الأهمية الوظيفية للفلاتر.

لقد قمنا أيضًا بربط PROscore مع استرخاء $L_0$ الدقيق، مما يثبت أن هذا المعيار يمكنه التنبؤ بديناميكيات إزالة الوزن متعددة الخطوات بدقة.

تظهر التجارب الواسعة التي تمت عبر الشبكات العصبية الملتفة (CNNs) ومحولات الرؤية (Vision Transformers) ونماذج اللغات الضخمة (LLMs) مثل ResNet وDeiT وLLaMA أن IPPRO يتفوق باستمرار على الطرق الحالية، مما يحقق مكاسب ملحوظة خاصة في بيئات الضغط العالي وبدون ضبط دقيق. مع IPPRO، تمثل هذه التقنية نموذجًا قويًا ومستقلًا عن المعمارية في مجال ضغط الشبكات العصبية.

ما رأيكم في هذا التطور المثير؟ شاركونا في التعليقات!