هل تزايدت فعالية تحليل الفروق الخطية في عالم الذكاء الاصطناعي؟ اكتشفوا الأسباب!

يعد استخدام تمثيلات الصور المجمدة المدعومة مسبقًا من الأساليب الشائعة في التعلم الانتقالي، حيث يتم تثبيت الهيكل الأساسي (backbone) واستخراج المتجهات المميزة لتدريب مصنف خفيف. ورغم ذلك، غالبًا ما يتم تمرير المتجهات الكاملة إلى المصنف، حتى عندما تحتوي المهمة المستهدفة على عدد أقل بكثير من الفئات مقارنة بمهمة التدريب المسبق.

في دراسة حديثة، تم إعادة النظر في خيار كلاسيكي: تحليل الفروق الخطية (LDA) المدعوم قبل التنفيذ الخطي. تمت تقييم عشر استراتيجيات لتقليل الأبعاد على ميزات مجمدة من ستة هياكل أساسية، بما في ذلك ResNet-18 وResNet-50 وMobileNetV3-Small وEfficientNet-B0 وViT-B/16 وDINOv2-ViT-S/14، عبر مجموعات بيانات مثل CIFAR-100 وTiny ImageNet وCUB-200-2011.

وعند استخدام بروتوكول الانحدار اللوجستي الثابت، أظهرت النتائج أن LDA يعزز الدقة في 11 من أصل 12 إعدادات خشن، مع تحسينات تصل إلى 4.5 نقطة مئوية بينما يقلل الأبعاد بمعدل يتراوح بين 48-87%. ومع ذلك، في مجموعة CUB-200 الدقيقة، كانت النتائج مع الميزات الكاملة أفضل في كافة الحالات.

تسهم هذه النتائج في تحديد الحدود العملية لاستخدام LDA: فهو فعال عندما تكون هيكلية الفئة كافية ليتم التقاطها بواسطة الاتجاهات الفاصلة الوسيطة، لكنه قد يفقد المعلومات الدقيقة اللازمة للتعرف الدقيق. كما قورنت LDA مع PCA، وPCA+LDA، وLDA المنتظمة، وتحليل الفروق المحلية، وتحليل مكونات الجوار، وثلاثة ملحقات خفيفة الوزن لـ LDA.

تظهر النتائج أن LDA العادي يقدم أفضل توازن بين الدقة والتكلفة في معظم الإعدادات الخشنة، بينما نادرًا ما تبرر الأساليب الأكثر تعقيدًا تكاليفها الإضافية. بشكل عام، توفر الدراسة إرشادات عملية حول متى ينبغي تضمين الإسقاط المدعوم بعد التنفيذ في خطوط أنابيب تصنيف الصور المعتمدة على الميزات المجمدة.