في ظل التقدم السريع في تقنيات الذكاء الاصطناعي، أصبحت الشبكات العصبية، وبالأخص تحويلات الرؤية (Vision Transformers - ViTs)، نقطة محورية للبحث في تحسين الأداء وتقليل حجم النماذج. تقنيات تقليم نموذج الرؤية تتيح تقليص عدد المعلمات، مما يؤثر بشكل مباشر على سرعة وكفاءة الأداء. ومع ذلك، كانت معظم الدراسات السابقة تركز على تقليم العرض (width pruning)، مما أدى إلى تحقيق انخفاضات كبيرة في حجم النموذج لكنه لم يستغل الإمكانات الكاملة لتقليم العمق (depth pruning).

من المعروف أن تقليم العمق، الذي يتضمن إزالة طبقات كاملة من النموذج، يمثل تحديًا كبيرًا في استعادة الدقة على الرغم من قدرته على تحقيق سرعات أعلى، مما يحد من الفائدة التي يمكن الحصول عليها من تقنيات التخفيف مزدوجة العمق والعرض. وفي هذه الدراسة الجديدة، تم كشف النقاب عن أن فشل الأساليب الحالية في تقليم العمق يعود إلى تجاهلها لتباين المعلمات بين الطبقات المختلفة.

لتعزيز الأداء، تم تقديم طريقة جديدة تُدعى HetDPT، وهي تقنية قررت الاعتماد على مراعاة التباين (heterogeneity-aware) بين الطبقات المختلفة لتجنب عدم التطابق البُعدي. وُجِّهت التجارب الشاملة على مجموعة بيانات ImageNet-1K وCIFAR-100 وCOCO وADE20K لإفقاء فعالية الطريقة الجديدة، حيث حقق HetDPT تسريعًا بمعدل 1.58 مرة للنسخة DeiT-B، مع الحفاظ على دقة النموذج، و1.39 مرة للنسخة DeiT-S دون أي تدهور ملحوظ في الدقة.

علاوة على ذلك، عند دمجه مع تقليم العرض، سجل HetDPT+ رقمًا قياسيًا جديدًا في تقليص ViT، حيث زاد نسبة التسريع من 4.24 مرة إلى 5.19 مرة في تكوين Isomorphic-Pruning-2.6G مع الحفاظ على دقة شبه خالية من الفقد. يمكنكم متابعة الكود الخاص بهذه التقنية عبر هذا الرابط. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.