في عالم الذكاء الاصطناعي، تتزايد أهمية النماذج متعددة الوسائط (Large Multimodal Models) التي تجمع بين الرؤية واللغة بشكل متزايد. لكن لطالما كانت هذه النماذج تعاني من نقص في المعرفة التصنيفية، مما يؤثر سلباً على استجابتها للهرمية في التعرف على الصور (Hierarchical Visual Recognition).

لكن وبفضل الأبحاث الجديدة، تم تقديم طريقة مبتكرة تدعى تنظيم التمثيلات الهرمية (Hierarchical Representation Regularization أو اختصارًا HiR²) التي تهدف إلى تحسين الاتساق الهرمي في هذه النماذج. يقدم هذا التنظيم حلاً رائعًا لمشكلة النقص في المعرفة التصنيفية، حيث يتيح للنماذج فهم العلاقات الدلالية المعقدة وكتابة أشجار مفهومة من المعلومات.

يعمل HiR² عن طريق تقديم إطار عمل لبناء شجرة بصرية دلالية، يعتمد على الميزات البصرية المستخرجة من الطبقات الوسطى لنماذج اللغات الكبيرة، حيث يحصل على توجيه من الإشارات النصية. وعبر دمج هدفين تكميليين، وهما خسارة التضمين التصنيفي (Taxonomic Entailment Loss) و خسارة التشتت التمييزي (Discriminative Dispersive Loss)، يُعزِّز HiR² التفريق الزاوي بين المتجهات المشابهة دون التأثير على الهيكل الهرمي الأساسي.

تبين النتائج التجريبية أن نهج HiR² يلتقط بنجاح الهياكل التصنيفية عبر مجموعة من النماذج المختلفة وأساليب التحسين. يمكنك الاطلاع على الكود المستخدم في البحث عبر هذا الرابط: رابط الكود.

هل تعتقد أن هذه التقنية ستغيّر كيفية تعامل النماذج متعددة الوسائط مع المعلومات؟ شاركونا آراءكم في التعليقات.