تواجه نماذج الفيديو متعددة الوسائط (Large Multimodal Models) تحديات كبيرة بسبب التكلفة العالية لمعالجة كميات هائلة من المعلومات البصرية. لكن ماذا لو كانت هناك طريقة لنقل قدرات هذه النماذج الضخمة إلى نماذج أصغر وأكثر كفاءة؟ هنا يأتي دور تقنية On-Policy Distillation (OPD)، التي أثبتت فعاليتها في مطابقة توزيعات النتائج المستخرجة من الطلبة على طول مسارات مدفوعة من قبلهم.

لكن، ماذا عن الحاجة إلى تضمين أدلة متعددة من عدة إطارات في معالجة الفيديو؟ في هذا السياق، قد لا توفر الإشراف على مستوى النتائج سوى جزء بسيط من الصورة. لهذا، تم اقتراح تقنية جديدة تُدعى Latent-OPD، التي تعزز OPD من خلال دمج ما يُعرف بالاستقطاب الكامن على مستوى المسار.

تستهدف منهجيتنا النقطة في نهاية كل مسار، حيث يتم تلخيص المعطيات المرئية والسياق الاستدلالي بشكل فعّال. ومع إدخال استراتيجية المعلم المتقدم، تتماشى الطبقات المتوسطة إلى المتأخرة للطالب مع طبقات المعلم الأعمق.

تظهر التجارب على ستة معايير لتحديات الفيديو أن Latent-OPD تتفوق باستمرار على OPD التقليدي. وأبرز النتائج تظهر خاصة في السيناريوهات التي تتضمن إطارات حدها الأدنى أو فيديوهات طويلة أو مهام بحاجة إلى تجميع معقد للأدلة. هذه النتائج تعزز مكانة Latent-OPD كمنهج فعّال للغاية لتحسين استدلال الفيديو بكفاءة إطار أفضل.

هل أنت جاهز لاستكشاف إمكانيات Latent-OPD؟ شاركنا برأيك حول هذه التقنية المبتكرة في التعليقات!