تشهد تقنيات الذكاء الاصطناعي تطوراً مذهلاً في ف مجال معالجة الفيديوهات المتدفقة عبر الأنترنت، وقد برزت مؤخراً تقنية SAVEMem كإحدى هذه Innovations. يعتمد فهم الفيديو المتدفق على نماذج تحتاج إلى معالجة مدخلات بصرية مستمرة والرد على استفسارات المستخدمين في الوقت الحقيقي، مما يجعل إدارة الذاكرة تحدياً مركزياً نظراً للتيارات اللانهائية والوقت غير المتوقع للاستفسارات.

تستخدم الطرق الحالية عادةً تقنيات ضغط الرموز البصرية عن طريق تعزيز التشابه البصري، أو تقوم بزيادة الضغط من خلال استرجاع من مستوى KV-cache. ومع ذلك، نادراً ما تأخذ هذه القرارات بعين الاعتبار الإشارات الدلالية، وعادةً ما تُضاف عمليات الاسترجاع بعد الانتهاء من الضغط، مما يصعب تنسيق هذين المرحلتين.

مع ظهور SAVEMem، يتم تقديم إطار ثنائي المرحلة لا يتطلب تدريباً، يجلب الوعي الدلالي إلى توليد الذاكرة ويتيح إمكانية تكييف نطاق الاسترجاع حسب كل استفسار. في المرحلة الأولى، تبني SAVEMem ذاكرة ثلاثية المستوى عبر الأنترنت تحت ميزانية ذاكرة ثابتة. تستخدم بنك أسئلة زائفة خفيفة كقيد دلالي، مما يجعل الاحتفاظ على المدى الطويل مرتبطاً بالأهمية الدلالية بدلاً من مجرد التشابه البصري.

وفي المرحلة الثانية، تقوم SAVEMem بتنفيذ استرجاع واعٍ للاستفسارات عبر هذه الذاكرة. حيث يكيّف بوابة الحديث الوسيطة ذات الصلة نطاق الاسترجاع من الذاكرة قصيرة المدى إلى المتوسطة والطويلة استناداً إلى ما إذا كان الاستفسار يركز على الحاضر أو الماضي البعيد. داخل هذا النطاق، يتم اختيار إطارات مرشحة للإجابة على الاستفسارات.

عند تطبيقها على Qwen2.5-VL دون تدريب، تحسن SAVEMem التصنيف الكلي لـ OVO-Bench من 52.27 إلى 62.69، وتنتج تحسينات مستقرة على StreamingBench وODV-Bench، مع تقليل الذاكرة البيانية القصوى لوحدة معالجة الرسوميات بنسبة 48% عند 128 إطاراً عبر الهيكل الأساسي.

بالنظر إلى هذه الابتكارات، كيف ترى تأثير تقنيات مثل SAVEMem على مستقبل معالجة الفيديوهات؟ شاركونا آرائكم في التعليقات!