مُشفر الرؤية المتعدد الأنماط: دينو يُعيد تعريف فهم المشاهد!

في عالم الذكاء الاصطناعي، تفتح الابتكارات الجديدة أبواباً جديدة لفهم المشاهد بطريقة أكثر دقة وفعالية. وأحدث هذه الابتكارات هو مشفر الرؤية المتعدد الأنماط (Omnivorous Vision Encoder) الذي يقدمه نموذج دينو (DINOv2). لقد أظهر مشفرات الرؤية ما قبل التدريب (Pre-trained Vision Encoders) أداءً استثنائيًا في المهام الأحادية النمط، ولكن هناك تحدٍ ملحوظ في توافق الميزات بين الأنماط المرئية المختلفة.

عند تحليل البيانات، تبيّن أن تشابه ميزات الصورة RGB وخريطة العمق الخاصة بنفس المشهد لا يتعدى تقريبًا التشابه بين صور عشوائية تختلف عن بعضها. للاستجابة لهذا التحدي، تم اقتراح مشفر الرؤية المتعدد الأنماط الذي يعزز تناسق ميزات البيانات بين مختلف الأنماط.

يعتمد هذا النموذج على إطار عمل ما بعد التدريب، حيث يتم تحسينه لتحقيق هدفين رئيسيين: الأول هو زيادة توافق الميزات بين أنماط مختلفة من نفس المشهد، والثاني يتمثل في توجيه التمثيلات المتعلمة من خلال نسخ مُجمّدة من نماذج تعليمية (Teacher Models). وبفضل هذا النهج، يُنتج مشفر الطالب (Student Encoder) تمثيلات متسقة للمشاهد، بغض النظر عن النمط المدخل (RGB، العمق، التجزئة، وغيرها).

يسمح هذا الابتكار بفهم قوي بين الأنماط المختلفة بينما يحافظ في الوقت نفسه على الدلالات التمييزية لنموذج الأساس الأصلي. هذا التقدم يُعتبر خطوة هامة نحو مستقبل أكثر تفاعلاً في تطبيقات الرؤية الحاسوبية. يمكنكم الاطلاع على أوزان النموذج المتعددة الأنماط عبر الرابط: [https://github.com/google-deepmind/representations4d].