في عالم الذكاء الاصطناعي، أصبحت المعمارية المعتمدة على Transformers هي السائدة في مجال تعلم الرسوم الديناميكية المستمرة (CTDG). ورغم ذلك، لا تزال أداؤها محدودة في التعامل مع بيانات منسقة زمنياً. في بحثنا الأخير، تمكنا من تحديد مشكلة رئيسية تعرف باسم تشتيت الانتباه (Attention Dispersion) كنقطة فشل شائعة في نماذج Transformers الديناميكية عند حدوث تغيرات في توزيع الزمن.

من خلال إجراء تجارب دقيقة، قمنا بمقارنة الجيران التاريخيين (Historical Neighbors) الهيكلية والزمنية مع الجيران العشوائيين لنجد أن التوقعات تعتمد بشكل كبير على مجموعة من العقد الحيوية التي تحمل إشارات تنبؤية أكثر من الجيران العشوائيين. وعلى الرغم من وجود هذه العقد في البيانات، فإن Transformers الحالية تكافح لتركيز انتباهها عليها، وذلك بسبب ضعف التباين لدى حدوث انزلاق زمني، مما يؤدي إلى توزيع انتباه متشتت بشكل مفرط.

ولكن لدينا حلاً بسيطاً وقابلاً للتحويل! نحن نقدم تقنية الانتباه التفاضلي (Differential Attention) التي تعمل على كبح الانتباه الشائع وتعزيز الإشارات الفريدة على مستوى الرموز. عند إضافتها إلى ثلاثة نماذج موتور Transformers تمثل مختلف الأنواع، أثبتت تقنية الانتباه التفاضلي تحسيناً مستمراً في الأداء، خاصةً في مجموعات البيانات عالية التغيير.

كما أثبتنا من خلال قياسات مستوى الانتباه تقليص انتروبيا الانتباه وزيادة الكتلة على العقد الحيوية، مما يدعم فعالية هذا الأسلوب. بناءً على هذه النتائج، أطلقنا DiffDyG، وهو تطبيق مرجعي يجمع بين الانتباه التفاضلي والترميزات القياسية. من خلال اختبارات متعددة وبروتوكولات سلبية، حقق DiffDyG أداءً رائداً في المجال، مع تحسينات واضحة على مجموعات البيانات الأكثر تغيراً.

تتميز هذه الإنجازات بإمكانية تطبيقها في مجالات متعددة وتفتح الأفق أمام تحسين أداء الذكاء الاصطناعي في بيئات غير ثابتة. هل أنتم مستعدون لاستكشاف هذه التحولات الجذرية في الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات!