ثورة سريعة: تسريع نماذج فيجن ترانسفورمرز من خلال التماثل الهندسي!

في عالم الذكاء الاصطناعي، تعتبر نماذج فيجن ترانسفورمرز (ViTs) من الأدوات القوية لتحليل الصور. ولكن، ما الذي يجعلها قادرة على تحسين الأداء بشكل ملحوظ؟

في دراسة جديدة تم نشرها على منصة arXiv، أظهر الباحثون كيف يمكن تعزيز كفاءة هذه النماذج عبر تنفيذ طبقات خطية في مجال فورييه، معتمدةً على التماثل الهندسي. فعندما نتعامل مع الصور الطبيعية، يظهر لدينا انتظام هندسي قوي، حيث تتواجد الأنماط المحلية مثل الحواف والزوايا في تنسيقات متعددة.

النتائج المبهرة تشير إلى أن "Quick ViTs" التي طوّرت في هذه الدراسة، بدأت تظهر تحقيقات مدهشة، حيث حققت تخفيضًا بمعدل 5.33x في FLOPs (عمليات نقطة عائمة) و8x في استهلاك الذاكرة مقارنةً بالطبقات الخطية التقليدية. كما تمكن الباحثون من إجراء تقييمات تجريبية أوسع لكل من نماذج التعلم الخاضع للإشراف (DeiT-III) وغير الخاضع للإشراف (DINOv2) على مجموعة بيانات ImageNet-1K.

بالإضافة إلى ذلك، لم تؤثر هذه التحسينات على دقة النموذج، بل كانت قادرة حتى على تحسينها. هذا يفتح الباب أمام إمكانيات جديدة في تدريب النماذج وكيفية تحسين الأداء في المستقبل.

ما رأيكم في هذه التطورات الجديدة في عالم الذكاء الاصطناعي؟ هل تعتقدون أن هذه التحسينات ستحدث فرقًا كبيرًا في التطبيقات العملية؟ شاركونا في التعليقات!