تتميز نماذج المحولات (Transformers) بقدرتها الفائقة على التقاط الترابطات العالمية والمحلية ضمن اصطدامات الجزيئات عالية الطاقة. لكن، تظل هذه النماذج تواجه تحديات كبيرة عندما يتعلق الأمر بتطبيقها في بيئات ذات تدفق بيانات عالي، مثل مصادم الهاي لهيون (CERN LHC). تكمن المشكلة الأساسية في التعقيد التربيعي لنماذج المحولات، مما يتطلب موارد ضخمة ويزيد من زمن الاستدلال، وبالتالي يعوق فعاليتها.

للتغلب على هذه التحديات، نقدم اليوم المحول الخطي الواعي مكانيًا (SAL-T)، وهو تحسين مستوحى من الفيزياء للهيكلية المعروفة باسم linformer، والذي يحافظ على انتباه خطي. تعتمد هذه الطريقة الجديدة على تقسيم الجزيئات بشكل واعٍ اعتمادًا على ميزات الحركة (kinematic features)، مما يسمح بحساب التوجه بين مناطق ذات دلالة فيزيائية.

وبالإضافة إلى ذلك، يتم استخدام طبقات التلافيف (convolutional layers) لالتقاط الترابطات المحلية، مدفوعة برؤى مستمدة من فيزياء jets. لم يقتصر الأمر على تحسين أداء SAL-T في مهام تصنيف الجزيئات فحسب، بل حقق أيضًا نتائج تصنيف تقارن بالنماذج الكاملة الانتباه، مع استخدام موارد أقل ووقت استدلال أقل بكثير. تُظهر التجارب على مجموعة بيانات تصنيف السحب النقطية العامة (ModelNet10) تأكيدًا إضافيًا لهذه الاتجاهات.

لمعرفة المزيد حول SAL-T والمساهمة في الأبحاث، يمكنكم زيارة كود المصدر على رابط GitHub. ما رأيكم في هذا التطور المذهل؟ شاركونا في التعليقات!