يُعتبر التعلم التبايني (Contrastive Learning) من الاتجاهات الواعدة في الذكاء الاصطناعي حيث ينتقل بصورة متزايدة إلى الإعدادات التي تشمل ثلاثة أو أكثر من الأنماط بدلاً من مجرد أزواج الصور والنصوص. لكن هذا الانتقال يجلب تحديات في مجالات التمثيل والتشغيل. تكشف دراسة حديثة أن التكييف الخاص بمصفوفة جاكوبيان (Jacobian) هو عامل رئيسي في التعلم التبايني ثلاثي الوسائط (Trimodal Contrastive Learning).

تظهر الأبحاث أن المشفرات ذات التكييف السيئ قد تؤدي إلى انهيار أو تضخيم طيف القيم المفردة، مما يؤدي إلى أرقام حالة جاكوبيان متفجرة وتدهور في محاذاة الوسائط المتعددة. لحل هذه المشكلات، تم تقديم مشفرات تحافظ على الهندسة (Geometry-Preserving Encoders) من خلال التكييف المباشر لمصفوفة جاكوبيان عبر التقنين، حيث تمت التجارب باستخدام تعديلات بسيطة مثل تنشيطات LeakyReLU والمسارات المتبقية.

أظهرت النتائج، من خلال تجربة معيارية ونماذج من أربع مجموعات بيانات حقيقية تتضمن وسائط مفقودة، أن تحسين تكييف جاكوبيان يعزز استرجاع المعلومات وأداء اختبارات القياس الخطي عبر عدة أهداف تباينية. وهذا يشير بشكل أوسع إلى أن التعلم التبايني متعدد الوسائط يعتمد على خصائص الهندسة والتشغيل للنماذج، بالإضافة إلى تعبير الأهداف.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات.