شهد الذكاء الاصطناعي ثورة في معالجة اللغات بفضل تطوير نماذج الانتباه (Attention Models). ومع ذلك، تواجه هذه النماذج تحديات في كفاءة الأداء عند التعامل مع تسلسلات أطول. في هذا السياق، قدمت دراسة حديثة تحليلًا مقارنًا لبنيات الانتباه الخطية، لا سيما وضعها في سياق الانتباه الذاتي (Self-Attention) الذي يتيح لكل رمز استرجاع معلومات من السياق الكامل.

في هذه الدراسة، تم التحقيق في أربع بنى خطية جديدة وهي: DeltaNet، Gated DeltaNet، Kimi Delta Attention، وGated DeltaNet-2. تم تقديم هذه الآليات في صيغة مشتركة تهدف إلى تحسين الذاكرة المتكررة، مما يعكس التباين في القدرة على التعبير، وسرعة الذاكرة، والتحكم في المسح والكتابة، وكذلك تعقيد التنفيذ.

ركزت التجارب على نماذج تحتوي على 350 مليون معلمة تم تدريبها على 15 مليار رمز، مع مقارنات بين المحسنات ومعدلات التعلم، بالإضافة إلى قياسات زمن تشغيل تسلسل طويل. على الرغم من عدم توفير نتائج زمنية تجريبية للتنبؤ، أظهرت نتائج السرعة المقدمة تحسنًا ملحوظًا في معدل التدريب وسرعة التكرار.

من خلال مجموعة التجارب، تمكن Kimi Delta Attention مع Muon من تحقيق أقل خسارة في التحقق النهائي، بينما كان Gated DeltaNet المدرب باستخدام AdamW الأعلى في معدل تدريب normalized. تبين أن استخدام آليات توجيه خفيفة الوزن بين الطبقات يوفر تحسينات بسيطة، مثل Cross-Layer Value Routing (CLVR) التي تسهم في تقليل الخسارة النهائية لكلا النموذجين DeltaNet وGated DeltaNet.

تعتبر هذه الابتكارات مفتاحًا لتعزيز العلوم الحاسوبية، وهي تسلط الضوء على أهمية البحث المستمر في تطوير تقنيات جديدة لتحسين أداء النماذج. ما رأيكم في هذه التطورات الجديدة؟ شاركونا في التعليقات.