تمثل محولات الرسوم البيانية (Graph Transformers) جزءًا أساسيًا في تقدم الذكاء الاصطناعي، حيث تعتمد بشكل كبير على مفهوم الانتباه الذاتي العالمي (Global Self-Attention). ولكن، هناك تحدٍ رئيسي يتعلق بالقيود الهيكلية المرتبطة باستخدام دالة Softmax، والتي تتطلب أن تكون جميع صفوف الانتباه غير سالبة ومجموعها يساوي واحد، مما يُحد من قدرة النموذج على 'عدم الانتباه' إلى أي معلومات.

في دراستنا الأخيرة، تم تسليط الضوء على هذا القيد كسبب رئيسي لثلاثة مشاكل شائعة تواجه الباحثين: الانهيار في تمثيلات العقد مع زيادة العمق (Over-smoothing)، والعقبة في النتائج الصادرة لكل رأس، وصعوبة تحسين الأداء في النماذج العميقة.

للتغلب على هذا التحدي، تم تقديم النموذج الجديد SigGate-GT، الذي يستخدم بوابة تعليمية لكل رأس، مما يسهل تحسين سعة الانتباه. تعمل هذه البوابة كتحكم في حجم التدفق المعلوماتي، مما يسمح بإضعاف القيد المفروض دون التخلي عن الفهم الاحتمالي للانتباه.

لقد أظهرت التجارب أن SigGate-GT يحقق تحسينات ملحوظة في الأداء، حيث سجل نتائج متميزة على خمسة مؤشرات مختلفة، بما في ذلك تحقيق نتائج قوية على مجموعة بيانات ZINC وogbg-molhiv.

تظهر النتائج أن استخدام البوابة ساهم في تحسين تنوع التمثيلات بنسبة 30% عبر طبقات متعددة، كما ساعدت في تحقيق استقرار التدريب في نطاق واسع من معدلات التعلم. هذه الابتكارات تعد خطوة بارزة نحو تحسين أداء محولات الرسوم البيانية، مما يفتح المجال لتطبيقات جديدة في مجال الذكاء الاصطناعي.