في عصر تتزايد فيه الحاجة إلى تكامل الأنظمة المختلفة، يأتي إطار CM-MAE ليقدم حلاً مبتكراً يجمع بين الرؤية والاتصالات اللاسلكية. يعتمد هذا النموذج على قياسات متزامنة من الكاميرات والاتصالات اللاسلكية لمراقبة نفس المشهد عبر قنوات مختلفة.

تتمثل التحديات الرئيسية في أن التمثيل المدرب في سيناريو معين قد لا يعمل عندما تتغير زوايا الرؤية والمرور والإضاءة. وهنا يأتي دور CM-MAE كإطار تدريب ذاتي موجه بالفيزياء، حيث يعزز من إمكانية انتقال التمثيل بين مختلف السيناريوهات بشكل أكثر فعالية.

يجري ذلك من خلال استخدام النموذج المستند على بيانات حقيقية، حيث يعتمد فقط على إطارات RGB وقياسات الطاقة التي يبلغ عددها 64 شعاعاً المتاحة في DeepSense 6G. لا يستند الإطار إلى مسارات محاكاة أو قياس عمق ملموس أو تصنيفات شعاعية أثناء تدريب النموذج.

تنطوي الفلسفة الأساسية لتدريب هذا النموذج على استخدام خسارة مطابقة تباينية ناعمة، حيث لا يتم اعتبار الزوج المتزامن من الصورة والبيانات اللاسلكية هو الزوج الإيجابي الوحيد، بل يتم بناء توزيع هدف من التشابهات بين ملفات تعريف الطاقة الموجهة المقاسة.

ويعمل مُرمز مشترك مقنَّع على توفير هدف محلي تكميلي من خلال إعادة بناء قطع بصرية مخفية ومجموعات زوايا لاسلكية تحت إسقاط النمط. بعد التدريب، يتيح نظام التكييف السريع بالرغم من حصول تغييرات على أداة الاندماج الجديدة، مما يضمن سرعة تكيف النموذج مع الاستخدامات الجديدة.

تظهر النتائج الحالية أن إضافة خسارة المطابقة الناعمة تحسن متوسط معدل النقل من 24.88% إلى 29.49%. كما أن التكييف البسيط يصل بدقة أعلى تصل إلى 77.38% على السيناريوهات غير المرئية، ويصل إلى 78.69% مع ملاءمة تطبيعية اختيارية.

عند تفسير هذه النتائج، يجب ملاحظتها كتشخيص انتقال للتمثيل، وليس كادعاءات استباقية حول توقعات الشعاع أو التقليل من عملية المسح.