ثورة في نماذج الفيديو: تقنيات جديدة لتقليص التوكنات لتحقيق سرعة فائقة!

في عالم يسعى دائماً نحو تحسين الأداء والكفاءة، تلعب نماذج اللغة المرئية (Vision-Language Models) دوراً محورياً في فهم الصور والفيديوهات. ومع ذلك، تعاني هذه النماذج من تأخيرات عالية في عملية الاستنتاج، وذلك بسبب الحاجة لمعالجة آلاف التوكنات (Tokens) في كل صورة. مشكلة التأخير تزداد تعقيدًا عند التعامل مع الفيديوهات، حيث يتعين تحليل عدة إطارات في وقت واحد.

تقنيات تقليص التوكنات الحالية غالبًا ما تُطور لمعالجة الصور الفردية، مما يجعلها غير ملائمة للتعامل مع الفيديوهات التي تحتوي على تكرار زمني بين الإطارات. فحتى عند محاولة تقليص عدد التوكنات، تُطبق نسب ثابتة وغير مرنة على جميع المدخلات، ما يُعتبر أقل فعالية؛ لأن مستوى التكرار يمكن أن يختلف بشكل كبير بين الفيديوهات، مما يتطلب مستويات تقليص تعتمد على محتوى كل فيديو للحفاظ على المعلومات الحيوية.

للتغلب على هذه التحديات، نقترح استراتيجية ثنائية المراحل لتقليص التوكنات مصممة خصيصًا لمعالجة الفيديوهات. في المرحلة الأولى، يتم تقليص الإطارات الزائدة، وفي المرحلة الثانية، يُطبق تقليص التوكنات داخل الإطارات المحتفظ بها. الأهم من ذلك، يتم تحديد نسبة التقليص في المرحلة الثانية بشكل متكيف حسب محتوى كل فيديو. يتم ذلك من خلال تحليل الهيكل الارتباطي لتوكنات التضمين (Token Embeddings) لقياس مستوى التكرار، وهو ما يستخدم لتحديد النسبة المناسبة.

جدير بالذكر أن طريقتنا لا تتطلب أي تدريب إضافي أو ضبط دقيق، ورغم ذلك تحقق مكاسب تجريبية قوية؛ فإنها تُحسّن الدقة بنسبة 7% على معايير توصيف الفيديو مع الاحتفاظ بنسبة 10% من التوكنات، بينما تخفض من متطلبات الحسابات الفعلية بأكثر من 95%. هذا الابتكار يعد بتطبيقات أوسع في الأنظمة التي تعاني من قيود في الموارد، وقد يُحدث ثورة في كيفية استخدام نماذج اللغة المرئية في تطبيقات المراقبة الفورية والذكاء الاصطناعي.