تتزايد الابتكارات في مجال الذكاء الاصطناعي بشكل متسارع، حيث تم مؤخراً تقديم تحسينات جديدة على نموذج Belief-Attention، وذلك من خلال إجراء مشروع عرض عمودي (orthogonal projection) للوزن القائم على softmax. هذه العملية تساهم في تعزيز الأداء عبر استخدام المركبة العمودية كإشارة متبقية في نموذج Transformers.

ومع ذلك، أظهرت دراسات تفصيلية أن هذه المركبة المعروضة تحمل معلومات مهمة عن الترابط بين الرموز (tokens)، مما يعني أنها لا يمكن تجاهلها. في سياق هذا البحث الجديد، تم اقتراح توسيع Belief-Attention بالاستفادة من كل من المركبتين العمودية والمشروحة.

الجزء المبتكر في هذه الإضافة هو أن المركبة المعروضة تمر عبر دالة تنشيط (activation function) معينة، ثم تكتسب تخطيطاً خطياً (linear mapping) قبل دمجها مع الرموز المعنية. يُعتبر الصندوق العصبي للمركبة المعروضة بمثابة شبكة تغذية أمامية من طبقتين (two-layer feedforward network) ضمن كتلة الانتباه الجديدة.

لقد ثبت أيضاً أن الانتباه القياسي يلتقط الترابط بين الرموز عبر مصفوفة الناتج الداخلي (inner-product matrix) $QK^T$. ولكن، تم اقتراح إدخال مصفوفة إضافية $ZZ^T$ إلى $QK^T$ لالتقاط ترابط رموز أغنى، مما أدى إلى استحداث وحدة جديدة تُعرف باسم Belief2-Attention. ومما لا شك فيه أن Belief2-Attention يعكس تعبيراً أعلى من الانتباه القياسي.

لقد قمنا بالتحقق من فعالية Belief2-Attention في إنجاز المهام المتعلقة بالرؤية، وخاصة في تصنيف الصور وتقسيمها، حيث أظهرت النتائج المبدئية أداءً متميزاً. إن هذه الابتكارات تعد بإمكانيات جديدة تُثري تجربة استخدام الذكاء الاصطناعي في التطبيقات المختلفة.