تواجه نماذج التعلم الآلي متعددة الوسائط (MLLMs) تقنيات حديثة قوية، تحديات كبيرة في ردم الفجوة التمثيلية بين الفهم الدلالي ثنائي الأبعاد والهندسة المكانية ثلاثية الأبعاد. حتى الآن، كانت النماذج المتقدمة المعنية بالبيانات الثلاثية الأبعاد تعتمد على بيانات باهظة التكلفة أو تستند إلى مدخلات RGB فقط، ما يؤدي إلى تكوينات مضطربة تعيق الاتصال الزمكاني الأساسي وتخلق تنافساً بين الأنماط المختلفة عبر المهام المتنوعة.

للتغلب على هذه العوائق، تم تقديم إطار عمل SpaR3D-MoE، الذي يمكن نماذج التعلم الآلي متعددة الوسائط من التفكير المكاني التكييفي باستخدام مدخلات RGB نادرة فقط. يستخدم هذا الإطار آلية أخذ عينات متكيفة من المنحنيات الزمكانية، مما يبني شبكة زمنية مكانية واعية بالهندسة، ويساعد في استخراج الإطارات الرئيسية المهمة، مما يقلل من تكرار التسلسلات بينما يحافظ على الاتصال الطبوغرافي للمشاهد.

علاوةً على ذلك، يقوم SPA-R3D-MoE بتقديم مجموعة من الخبراء كثيفة الهندسة والموجهة بواسطة موجه واعٍ بتعليمات الحركة، والتي تمكّن من توجيه الرموز متعددة الأنماط إلى خبراء متخصصين، مما يحل مشكلة التنافس عبر الأنماط التي تحدث في الفيوجن الأوحد.

في تجارب شاملة على مجموعة البيانات المختلفة مثل VSI-Bench وScanQA وSQA3D، أثبتت تقنيتنا أنها تلبي معايير الأداء الأكثر تقدمًا، فقد حقق SpaR3D-MoE أعلى تقدير بمتوسط 63.5 على VSI-Bench، متفوقًا على أفضل معايير الأداء السابقة بفارق 7.8 نقاط. كما أظهرت نتائج تحسين نسبية تصل إلى 35.4% و51.4% في مهام التخطيط والاتجاه النسبي على التوالي.

هذا الابتكار يمهد الطريق لمجموعة واسعة من التطبيقات المستقبلية في مجالات متعددة، مما يمثل خطوة كبيرة نحو دمج القدرات الهندسية مع المعلومات الدلالية في الذكاء الاصطناعي.

ما رأيكم في هذا التطور الواعد؟ شاركونا في التعليقات!