في عالم الذكاء الاصطناعي، أصبحت نماذج المحولات (Transformers) محورية في مختلف التطبيقات، لكن الأداء الكلي لها يعاني عند التعامل مع البيانات الهيكلية مثل الرسوم البيانية، حيث تعتبر التفاعلات بين العناصر أكثر تعقيدًا وتبعثرًا. لذا، قدم فريق من الباحثين نموذج X-LogSMask كحل فعّال ومبتكر لهذا التحدي.

نموذج X-LogSMask يعتمد على تقنية ماسك شعاعي هيكلي تفسيري متعددة الرؤوس، حيث يقوم بإدخال بنية الرسم البياني مباشرةً في معادلات الانتباه. وباستخدام تحويل لوغاريتمي، يوفر النموذج إشارة بوابة واعية للتركيب الهيكلي، مما يضمن كبح التفاعلات غير المدعومة بين العقد.

من خلال تعيين قوى مختلفة لمصفوفة الجوار (adjacency matrix) المعيارية لكل رأس انتباه، يتيح هذا النموذج رؤية محددة للهيكل، مما يدعم تدفق المعلومات متعدد النقاط ضمن طبقة واحدة. وقد أثبتت التجارب أن المحولات المجهزة بنموذج X-LogSMask حققت أداءً مذهلاً، حيث سجلت مستويات عالية من الأداء على 13 مجموعة بيانات من أصل 20 اختبارًا تم إجراؤها، مع الحفاظ أيضًا على الكفاءة في التكوين الخفيف ذو الطبقة الواحدة.

هذا الابتكار لا يغير بشكل جذري بنية المحولات، بل يجعل عملية الانتباه أكثر كفاءة ووضوحًا في التعامل مع البيانات الهيكلية. يمكن للباحثين والمطورين الاستفادة من الشيفرة المتاحة على GitHub لتطبيق هذه التقنية المتقدمة في مشاريعهم المستقبلية.