نجحت نماذج اللغات متعددة الوسائط (Multimodal Large Language Models) في تحقيق إنجازات مذهلة في المهام المتعلقة بالرؤية واللغة، إلا أن هذا التقدم يعتمد بشكل كبير على وجود بيانات متعددة الوسائط عالية الجودة ومكلفة في توفيرها. ومن هنا جاءت فكرة "التحسين الذاتي للصور المستند إلى الفشل" (Failure-informed Image Self-Augmentation) كبديل واعد، حيث تتيح للموديلات توسيع مجموعة بيانات تدريبها الخاصة دون الحاجة إلى إشراف خارجي.

تقنيات التحسين الذاتي الحالية في نماذج اللغات متعددة الوسائط تركز أغلبها على النصوص، بينما تبقى معالجة الصور بحاجة إلى المزيد من البحث، وتعتمد غالباً على تحولات عامة أو يدوية تعد ضعيفة الارتباط بعجز النموذج الفعلي.

تقدم هذه المقالة إطار عمل جديد يُسمى فيسا (FISA)، يسمح بتحسين نماذج اللغات متعددة الوسائط من خلال بناء صور مُعزّزة انطلاقاً من حالات الفشل التي قد يواجهها النموذج. يتم إنشاء صور مرئية مُعقّدة ولكنها تحتفظ بالإجابات الصحيحة، حيث يتم التحقق من جدواها من خلال مراجعة ذاتية وتطبيق فلترة مزدوجة للحفاظ على الدقة المعنوية.

تشير التجارب التي أجريت على معايير الإجابة على الأسئلة المرئية إلى أن الطريقة المُقترحة تُحسن الأداء باستمرار سواء داخل توزيع البيانات أو خارجها. تُظهر التجارب أيضاً توافق فيسا مع الأساليب الحالية للتحسين الذاتي للنصوص وكفاءة البيانات الفائقة التي توفرها العينات المُصنّعة بالمقارنة مع الأسس العامة لتحسين الصور.

احتضان هذه الابتكارات قد يغير مجرى تطور نماذج الذكاء الاصطناعي وكيفية استخدامها في المستقبل. فهل أنتم مستعدون لخوض هذه الثورة في عالم الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات!