في ظل التطورات السريعة في عالم الذكاء الاصطناعي، تأتي النماذج متعددة الوسائط لتبهرنا بقدرتها على دمج الفهم البصري والنصي ضمن هيكل موحد يعتمد على تحويلات (Transformers). لكن، لم يكن من السهل دوماً تكييف هذه النماذج لاحتياجات التدريب الخاصة، حيث يتطلب ذلك تكلفة حسابية مرتفعة تحتاج إلى إعادة ضبط جميع المعلمات. هنا يبرز مفهوم **المعالجة البصرية المنفصلة (Decoupled Visual Processing - DVP)** الذي يعرض حلاً مبتكراً.

في الورقة البحثية الأخيرة، يقدم الباحثون طريقة جديدة تعتمد على استبدال بعض طبقات عمل النماذج السابقة بكتل تحويل خفيفة يتم تدريبها بشكل مستقل. تتيح هذه العملية معالجة مرنة حيث يتم تقسيم التوكنز البصرية والنصية في الأنظمة المعقدة بشكل فعال، مما يقلل من عدد المتغيرات القابلة للتدريب بشكل كبير.

بعد استخدام نصف الطبقات العليا للمعالجة المشتركة، يتم توجيه التوكنز البصرية عبر كتلة تحويل جديدة، بينما تستمر التوكنز النصية في العمل من خلال الطبقات المجمدة، لتتجمع بعد ذلك قبل رأس نمذجة اللغة. هذا النهج لم يُظهر فقط أداءً تنافسياً عند اختباره على معايير MME وPOPE وChartQA، بل أيضاً ساهم في تحسين كفاءة العملية التدريبية بشكل ملحوظ.

باستخدام هذا النظام، تصبح إمكانية تعلم التمثيلات البصرية في نماذج MLLMs ممكنة بشكل فعال عبر مسار منفصل وذو كفاءة معلمات عالية, مما يتجاوز التحديات التقليدية المرتبطة بالتدريبات الشاملة لكل المعلمات.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات.