في خطوة جديدة تُعيد تشكيل كيفية معالجة نماذج الرؤية واللغة (VLMs)، تم الكشف عن RADIO1D، النظام الرائد الذي يقدم طريقة مبتكرة لضغط الصور إلى تسلسلات رمزية (tokens) مرنة.

في دراسة جديدة، تم تحدي الفرضية التي تقول إن نماذج الرؤية واللغة تحتاج إلى ميزات رؤية ثنائية الأبعاد (2D) ثابتة. بدلاً من ذلك، أظهرت التحليلات أن التمثيلات تتجه لتصبح أكثر تجريدًا وأقل تماسكًا مكانيًا خلال تدريب النماذج. ومن المثير للاهتمام، أن النماذج المدربة مع توافق الصورة والنص، مثل SigLIP2، تقوم بتطوير عدد قليل من الرموز المتخصصة التي تلخص المحتوى الكلي للصورة بشكل فعّال.

تستند RADIO1D إلى هذا التوجه، حيث تقوم بضغط الصور إلى تسلسل رمزي 1D متغير الطول باستخدام تقنيات تربية المعرفة متعددة المعلمين (multi-teacher knowledge distillation) وتصميم الأوتوانكودر. وتُظهر التمثيلات الناتجة قدرة قوية على التلخيص الهرمي، مما يمكّن الفهم الدقيق للمشهد، حتى مع وجود رمز واحد فقط.

تتيح RADIO1D أيضًا خيارات مرنة لتوازن الدقة والكفاءة من خلال عدد الرموز القابل للتعديل، مما يوفر أدائه التنافسي في مختلف معايير الأداء المتعددة الوسائط مع تقليل الحمل الحسابي وزيادة الدقة.

هل أنتم مستعدون لاستكشاف هذا الابتكار الجديد في عالم الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!