تُعد تقنيات التعلم القائم على الكائنات في الفيديو (VOCL) من المجالات المتقدمة في الذكاء الاصطناعي، حيث تعتمد نماذجها التقليدية على أطر قائمة على المربعات التي تدمج بين معمارية التشفير وفك التشفير. ومع ذلك، تميز هذه النماذج باستخدام خرائط انتباه (Attention Maps) من وحدة التشفير وخرائط الكائنات (Object Maps) من وحدة فك التشفير، وهو ما يخلق فجوات في الأداء.

في سياق ذلك، تم تقديم استراتيجية جديدة تُعرف بالتعلم التآزري الانتقائي (SSync)، التي تهدف إلى تعزيز جودة التحليل وتقليل الأخطاء. برخلاف التوافق الشامل بين كل المربعات الزمانية والمكانية، يركز SSync على استخلاص الإشارات الأكثر موثوقية فقط. يُستخدم التشفير لتعزيز الحدود، بينما يتم استخدام فك التشفير لتنظيف البيانات الداخلية، مما يقلل من الأخطاء الناتجة عن الضوضاء في تقديرات وحدة التشفير وحدود وحدة فك التشفير.

تتميز SSync أيضًا بكونها تعالج مشكلة التكلفة الحاسوبية العالية التي تنجم عن المقارنات الكثيفة، حيث تتطلب قدرة حسابية تتناسب بشكل مربعي مع مجموع المربعات الزمنية والمكانية. وبفضل تقنيات دمج التسمية الزائفة (Pseudo-labeling) ذات التعقيد الخطي، يمكن الاستغناء عن المقارنات المربعة المساحية.

علاوة على ذلك، يتم دمج التسمية الزائفة الانتقالية، التي تدمج بين المربعات المتداخلة استنادًا إلى اتساق التنشيط الزمني المكاني، مما يضمن عدم تعزيز العيوب الهيكلية مثل تكرار المربعات. من خلال الدراسات المكثفة، أظهرت SSync تحسينًا ملحوظًا في جودة التحليل وقدرتها على أن تكون وحدة مرنة وسهلة الاستخدام، مع القدرة على التكيف مع تكوينات المربعات المختلفة.

يتوفر الكود الخاص بهذه التقنية على GitHub. هل أنتم مستعدون لاكتشاف مستقبل التعلم القائم على الكائنات في الفيديو؟ شاركونا آرائكم في التعليقات!