أظهرت محولات الرؤية (Vision Transformers) قدرتها الفائقة في تصنيف الصور بدقة عالية، ولكنها غالباً ما تعاني من معالجة جميع مناطق الصورة بتكلفة حسابية واحدة، حتى عندما تكون بعض المناطق غير ذات قيمة أو متكررة. للتغلب على هذه المشكلة، تم تطوير طرق جديدة تُعرف باسم *التكييف التكيفي* (adaptive inference)، تهدف إلى تقليل التكاليف من خلال ضغط الرموز (tokens) الانتقائي أو إنهاء الاستنتاج مبكرًا. ومع ذلك، غالبًا ما تسبب هذه الآليات في عدم استقرار التمثيلات الوسيطة وتدهور الدقة.
لذا، يقدم الباحثون إطار العمل Fusion، الذي يعد أول إطار تكييفي موحد يُنسق بين دمج الرموز (token merging) والخروج المبكر (early exiting) وقص الرموز (token pruning) من خلال تصميم بسيط يتكون من مراحل. أولاً، يتم دمج الرموز، ثم يتم تقييم الثقة، وأخيرًا يتم تطبيق القص فقط على العينات التي تواصل الاستنتاج. يسمح هذا الترتيب بتشغيل الآليات الثلاثة بشكل تعاوني بدلاً من تنافسي.
كما يحتوي Fusion على وحدات توجيه خفيفة الوزن تتكيف مع قوة الضغط لكل إدخال، allowing for real-time adjustments in the accuracy-latency trade-off without retraining. في اختباراته على قاعدة بيانات ImageNet-1k باستخدام نموذج DeiT-S، فاق Fusion أداء الطرق الحالية لتحسين محولات الرؤية في دقة الميزانية الحسابية بينما قلل من خطأ المعايرة بنسبة تصل إلى 4 مرات واستهلاك الطاقة أثناء الاستنتاج بنسبة 48%.
تظهر التجارب عبر قواعد بيانات مختلفة مثل ImageNet-100 وCIFAR-100 وImageNette مع تدعيمات متعددة من محولات الرؤية أن Fusion يُظهر قابلية انتقال مستدامة دون الحاجة لضبط خاص على مجموعة البيانات.
في زوم الذكاء الاصطناعي: اكتشفوا إطار العمل Fusion الرائد لتحسين تحليلات الصور!
يقدم إطار العمل Fusion تقنية مبتكرة لتحسين أداء محولات الرؤية عبر تكامل متعددة من آليات التكيف. يمكنه تقليل استهلاك الطاقة بنسبة تصل إلى 48% وتحقيق دقة لا مثيل لها في معالجة الصور.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
