في عالم الذكاء الاصطناعي، تأتي التكنولوجيا دائمًا بحلول جديدة وذكية. فقد ظهرت مؤخراً نماذج Transformers البصرية (Vision Transformers) كبديل واعد لنماذج تعلم الآلة التقليدية، لكن كان حجمها الكبير يُعيق استخدامَها في الأنظمة الذكية ذات الموارد المحدودة. ومن هنا، قدم AQ4SViT كإطار عمل مبتكر لضغط هذه النماذج.
يُعتبر AQ4SViT أول إطار عمل تلقائي يقوم بتقليل حجم نماذج Spiking Vision Transformers (SViTs) بسرعة وكفاءة، مع الحفاظ على أداء عالي. على عكس التقنيات السابقة التي تعتمد على مدة زمنية طويلة لتحديد إعدادات الضغط المناسبة، يعتمد AQ4SViT على استراتيجيات بحث متطورة لتقييم خيارات الضغط بدلاً من العملية اليدوية المُجهِدة.
يتضمن AQ4SViT أسلوبًا للبحث عن إعدادات الضغط يراعي دقة النموذج، بالإضافة إلى سياسة بحث ذكية تُقيم بسرعة المرشحين الأفضل باستخدام انزياح الجهد الغشائي كمرجع لأداء النموذج. هذه الأساليب لا تساهم فقط في تسريع العملية، بل تعطي أيضًا خيارات متعددة بين البحث الجشع (Greedy search) الذي يُنتج نتائج سريعة لكنه قد يُنتج حلول محلية، والبحث الشامل (Beam search) الذي يُعطي أداءً أفضل في اكتشاف الخيارات العالمية، رغم أنه يأخذ وقتًا أطول.
تظهر النتائج التجريبية أن AQ4SViT-Greedy يحقق نتائج رائعة، حيث يُسرع زمن البحث بمعدل يصل إلى 6.6 مرة مع توفير حتى 82.5% في استهلاك الذاكرة مقارنة بالأعمال السابقة. بينما AQ4SViT-Beam يُحقق تقليلًا في استهلاك الذاكرة بمعدل يصل إلى 90% ولكن على حساب وقت بحث أكبر.
تقدم هذه النتائج رؤى جديدة تُظهر كيف يُمكن أن يُسهل AQ4SViT من عملية نشر نماذج SViT في الأنظمة الذكية المدمجة، مما يجعلها واحدة من الابتكارات البارزة في مجال الذكاء الاصطناعي.
AQ4SViT: إطار عمل مبتكر لضغط نماذج Transformer البصرية مع سياسة بحث ذكية!
أحدث إطار العمل AQ4SViT ثورة في ضغط نماذج Transformers البصرية مع تقنيات جديدة تزيد من الكفاءة وتقلل من الزمن المستهلك. تقدم هذه التقنية خيارات متعددة لتحقيق توازن مثالي بين الدقة واستهلاك الذاكرة.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
