في ظل الاعتماد المتزايد على النماذج متعددة الأنماط (Multimodal Foundation Models) مثل نماذج الرؤية اللغوية (Vision-Language Models) ونماذج اللغة الكبيرة (Large Language Models)، تتفشى مخاوف بشأن كيفية تخزين هذه النماذج لمعلومات حساسة أو مُلَكَة.
إحدى التحديات الكبيرة هي أن هذه النماذج قد تحتفظ برابطات غير مرغوب فيها أو مُعَكَسَة بين الأنماط المختلفة مثل الصور والنصوص والصوت والفيديو نتيجة البيانات التي تم تدريبها عليها.
الفكرة الرئيسية وراء التعلم المتعدد الأنماط هي إمكانية حذف هذه المعلومات المستعصية بشكل انتقائي دون فقدان الفائدة الإجمالية للنموذج. هذا يعني أنه يمكننا إزالة البيانات التي قد تكون محمية بحقوق الطبع والنشر أو التي تحمل انحيازات معينة، بدلاً من إعادة تدريب النموذج بالكامل بعد كل طلب حذف، وهو ما يعتبر أمراً غير عملي في كثير من الأحيان.
تقوم هذه الدراسة بتقديم نظرة شاملة حول التعلم المتعدد الأنماط من خلال عرض خطوات تطبيق هذا المفهوم في مجالات الرؤية واللغة والصوت والفيديو. كما تقدم تصنيفًا يوضح الفروق بين النماذج المعمارية المختلفة وتتناول قضايا عديدة مثل قوة الحذف، والاحتفاظ بالمعرفة، والكفاءة والعكسية، والمرونة.
في الختام، تشير الدراسة إلى تحديات مفتوحة واعتبارات عملية لدعم البحث وعمليات نشر التعلم المتعدد الأنماط. يمكنك زيارة المستودع المُعدة من قبل الباحثين لمزيد من المعلومات هنا: رابط المستودع.
ما رأيكم في هذه التطورات في عالم الذكاء الاصطناعي؟ شاركونا في التعليقات!