أصبح ضغط النماذج (Model Compression) من الأمور الحيوية في عالم التعلم الآلي، خاصة مع تزايد حجم النماذج وتحديات نشرها. يعتمد البحث الأخير على تقنية التحلل القيمي المنفرد (Singular Value Decomposition - SVD) لتقديم توازن مثير بين الكفاءة الحاسوبية ودقة النموذج.

تسليط الضوء على تقنية Fisher-weighted SVD، والتي تعد بمثابة خطوة متقدمة في مجال ضغط النماذج. هذه التقنية لا تركز فقط على تحسين الهياكل، بل تزود النماذج بوعي للأخطاء، مما يجعلها أكثر فعالية. ومع ذلك، أظهر الباحثون أن تحسين مستوى دقة تقنيات Fisher المستخدمة في الضغط ليس مؤشراً موثوقاً حول دقة النموذج بعد عملية الضغط، خاصة في نماذج المحولات البصرية (Vision Transformers - ViTs).

استجابةً لهذا التحدي، قدّم الباحثون تقنية جديدة تسمى FACTS، والتي تعتمد على تقنيات Fisher Approximation مُركّبة خصيصاً لضغط نماذج ViTs باستخدام Fisher-weighted SVD. تعمل هذه التقنية على تعزيز التجميع المحلي للفئات (token-local aggregation)، مع الحفاظ على التبعية بين التفعيل والانحدار داخل كل فئة.

كما تم إدخال أسلوب البحث السريع (Fast Constrained Rank Search - CoRS)، الذي يركز على تحسين توزيع الرتب على مستوى الطبقات مع الالتزام بمعايير محددة لعدد العمليات العائمة (Floating Point Operations - FLOP). أظهرت التجارب الواسعة على نماذج ViTs والهياكل الهجينة أن FACTS تعمل على تحسين توازن الدقة والكفاءة بشكل مستمر، دون الحاجة إلى إعادة التدريب.

أظهرت النتائج التفوق الكبير لهذه التقنية الجديدة، حيث حققت FACTS تحسيناً يفوق 5.8 نقاط مئوية في دقة Top-1 على نموذج Swin-B، مع مكاسب إضافية ناتجة عن طريقة البحث المُعتمدة.

يمكنكم الاطلاع على البرمجيات المستخدمة في هذا البحث على GitHub. ما رأيكم في هذه التطورات المذهلة في عالم ضغط النماذج؟ شاركونا آراءكم في التعليقات!