في خطوة جديدة نحو تحسين كفاءة نماذج الذكاء الاصطناعي، قدم الباحثون تقنية Linearized 2-Simplicial Attention، التي تعد ثورة في مجال الانتباه الذاتي. تعتمد هذه التقنية على إعادة كتابة الدرجات الثلاثية كجميع مكون في المنتج الداخلي بين استعلام مركب ومفتاح، مما يجعل مجموع المحور الواحد يكتسب نفس شكل انتباه Softmax العادي.

واحدة من الفوائد الرئيسية لهذه التقنية هي أنها تسمح بتقدير هذا المجموع باستخدام ميزات إيجابية عشوائية وتخزين الماضي بالكامل في حالة ثابتة الحجم. بينما يبقى المحور الثاني ظاهراً خلال نافذة قصيرة من الرموز الأخيرة، مما يتيح تحقيق تكلفة خطية في طول التسلسل، بالمقارنة مع نطاق الوصول العالمي الذي يفتقر إليه نموذج 2-Simplicial Attention المعتمد على النوافذ.

تم تنفيذ هذه التقنية باستخدام نوى Triton مخصصة، وجُمعت مع Kimi Delta Attention لبناء نموذج لا يعتمد على أي نوع من انتباه Softmax. تظهر النتائج بوضوح أن هذا النموذج يحقق أعلى دقة متوسطة في المهمة بين النماذج المقارنة، حيث أوضحت البيانات أنه عند استخدام 16k من السياق، تزداد الدقة المتوسطة مقارنة بمزيج KDA، بينما تنخفض درجة LAMBADA من 715.6 إلى 602.6.

ما يجعل هذه التقنية مثيرة للإعجاب هو قدرتها على تجاوز قيود النماذج السابقة، مما يمهد الطريق لتطبيقات جديدة في مجالات مثل معالجة اللغة الطبيعية والتعلم الآلي. لذا، هل أنتم متحمسون لتطويرات الذكاء الاصطناعي الجديدة مثل هذه؟ شاركونا آراءكم في التعليقات!