PULSE: ابتكار ثوري لنقل المعرفة بين أجهزة الاستشعار لنظام تعلم متعدد الحواس

في عالم الذكاء الاصطناعي، تعتبر الأنظمة متعددة الحواس أمرًا محوريًا لتحقيق فهم أعمق للتفاعل مع البيئة المحيطة. ومع ذلك، تواجه هذه الأنظمة تحديًا كبيرًا في ما يُعرف بمشكلة عدم التوافق بين أجهزة الاستشعار (sensor-asymmetry). فعند جمع البيانات في المختبر، تتوفر أفضل أنواع أجهزة الاستشعار، لكنها تكون غائبة أو غير عملية أثناء تطبيقها في الحياة الواقعية بسبب التكلفة أو سهولة الكسر أو التداخل في التفاعل الفعلي.

لذلك، نقدم لكم PULSE، وهو إطار عمل شامل لنقل المعرفة من جهاز استشعار متطور إلى مجموعة من أجهزة الاستشعار الاقتصادية التي يمكن استخدامها في التطبيقات العملية. يعمل نظام PULSE على إنتاج تجسيدين: تجسيدات مشتركة (modality-invariant) وتجزئيّة خاصة (modality-specific). يُساعد التجسيد المشترك الأجهزة المختلفة على التوافق بشكل أفضل، في حين أن التجسيدات الخاصة تحافظ على الهيكل المحدد لكل جهاز، مما يُسهم في تعزيز التعلم الذاتي.

في تطبيقنا الأول، تم استغلال PULSE في مهمة مراقبة الإجهاد الذاتي، حيث تم استخدام نشاط الجلد الكهربائي (EDA) كالمعلم الغني بالمعلومات، في حين تم تمثيل أجهزة الاستشعار الأخرى مثل ECG، BVP، التسارع ودرجة الحرارة كأجهزة اقتصادية. وقد أثبتت النتائج المدهشة في معيار WESAD، حيث حقق النظام 0.994 AUROC و0.988 AUPRC، متفوقًا على جميع النماذج الأخرى دون الاعتماد على EDA أثناء مراحل التقييم.

علاوة على ذلك، يتيح نظام PULSE نقل المعرفة بطريقة غير معتمدة على النوع (modality-agnostic) باستخدام ECG كمعلم، مما يُظهر مرونة وإمكانية تطبيق هذا الإطار في مجالات أوسع تشمل الحواس التكتيلية، والحركية، والبيولوجية.

بهذه الطريقة، يُمكن أن يُغير PULSE بشكل جذري كيفية فهمنا واستخدامنا للتكنولوجيا في حياة اليومية. ما رأيكم في هذا التطور المثير؟ شاركونا في التعليقات!