في عالم الذكاء الاصطناعي، أصبحت [المعمارية](/tag/المعمارية) المعتمدة على [Transformers](/tag/transformers) هي السائدة في مجال [تعلم](/tag/تعلم) الرسوم الديناميكية المستمرة (CTDG). ورغم ذلك، لا تزال أداؤها محدودة في التعامل مع [بيانات](/tag/بيانات) منسقة زمنياً. في بحثنا الأخير، تمكنا من تحديد مشكلة رئيسية تعرف باسم تشتيت [الانتباه](/tag/الانتباه) ([Attention](/tag/attention) Dispersion) كنقطة [فشل](/tag/فشل) شائعة في [نماذج Transformers](/tag/[نماذج](/tag/نماذج)-transformers) الديناميكية عند حدوث تغيرات في توزيع الزمن.

من خلال إجراء [تجارب](/tag/تجارب) دقيقة، قمنا بمقارنة الجيران التاريخيين (Historical Neighbors) الهيكلية والزمنية مع الجيران العشوائيين لنجد أن [التوقعات](/tag/التوقعات) تعتمد بشكل كبير على مجموعة من العقد الحيوية التي تحمل [إشارات](/tag/إشارات) تنبؤية أكثر من الجيران العشوائيين. وعلى الرغم من وجود هذه العقد في البيانات، فإن [Transformers](/tag/transformers) الحالية تكافح لتركيز انتباهها عليها، وذلك بسبب ضعف [التباين](/tag/التباين) لدى حدوث انزلاق زمني، مما يؤدي إلى توزيع [انتباه](/tag/انتباه) متشتت بشكل مفرط.

ولكن لدينا حلاً بسيطاً وقابلاً للتحويل! نحن نقدم [تقنية](/tag/تقنية) [الانتباه](/tag/الانتباه) التفاضلي (Differential [Attention](/tag/attention)) التي تعمل على كبح [الانتباه](/tag/الانتباه) الشائع وتعزيز الإشارات الفريدة على مستوى الرموز. عند إضافتها إلى ثلاثة [نماذج](/tag/نماذج) موتور [Transformers](/tag/transformers) تمثل مختلف الأنواع، أثبتت [تقنية](/tag/تقنية) [الانتباه](/tag/الانتباه) التفاضلي تحسيناً مستمراً في الأداء، خاصةً في [مجموعات البيانات](/tag/مجموعات-[البيانات](/tag/البيانات)) عالية التغيير.

كما أثبتنا من خلال قياسات مستوى [الانتباه](/tag/الانتباه) تقليص [انتروبيا](/tag/انتروبيا) [الانتباه](/tag/الانتباه) وزيادة الكتلة على العقد الحيوية، مما يدعم فعالية هذا الأسلوب. بناءً على هذه النتائج، أطلقنا DiffDyG، وهو تطبيق مرجعي يجمع بين [الانتباه](/tag/الانتباه) التفاضلي والترميزات القياسية. من خلال [اختبارات](/tag/اختبارات) متعددة وبروتوكولات سلبية، حقق DiffDyG أداءً رائداً في المجال، مع [تحسينات](/tag/تحسينات) واضحة على [مجموعات البيانات](/tag/مجموعات-[البيانات](/tag/البيانات)) الأكثر تغيراً.

تتميز هذه [الإنجازات](/tag/الإنجازات) بإمكانية تطبيقها في مجالات متعددة وتفتح الأفق أمام [تحسين أداء](/tag/[تحسين](/tag/تحسين)-[أداء](/tag/أداء)) [الذكاء الاصطناعي](/tag/الذكاء-الاصطناعي) في بيئات غير ثابتة. هل أنتم مستعدون لاستكشاف هذه التحولات الجذرية في [الذكاء الاصطناعي](/tag/الذكاء-الاصطناعي)؟ شاركونا آرائكم في [التعليقات](/tag/التعليقات)!