في عالم الذكاء الاصطناعي، تواجه نماذج تخزين البيانات (مثل النموذج المعروف بـ KV-cache) تحديات كبيرة عند الانتقال من مرحلة التدريب إلى مرحلة الاستدلال. غالبًا ما تؤدي هذه التحديات إلى عدم توافق بين طرق تخفيف التوكنات أثناء التدريب والعمليات التي تتطلب حذف المدخلات فعليًا من الذاكرة خلال عملية الاستدلال.

ظهرت في الأفق تقنية جديدة تُعرف باسم "الانتباه Sigmoid"، والتي قد تكون قادرة على تحسين هذه العملية بشكل ملحوظ. من خلال دراسة محكمة أجريت باستخدام نماذج Transformers بحجم GPT-2 المدربة على بيانات OpenWebText، تم إجراء مقارنة شاملة تتضمن ثلاثة أبعاد: نوع الانتباه، وأسلوب الإزالة المتعلم، وترميز المواقع.

على الرغم من أن أداء نماذج الانتباه Sigmoid كان أقل ككفاءة نموذج لغوي كثيف، إلا أن الطرق الجديدة للتخلص من البيانات باستخدام التجهيزات الصارمة أدت إلى تحسين كبير. حيث سمحت نماذج الانتباه Sigmoid بحذف مدخلات KV مع تغيير ضئيل في حسابات PPL (Perplexity Loss) مقارنة بالمرجع.

أثبتت التجارب أن استخدام بروتوكولات التخزين المؤقت المتطابقة على نفس الأسس الكثيفة يؤثر بشكل كبير على الكفاءة، إذ وجد أن الأبواب Sigmoid المتعلمة تحقق انخفاضًا أكبر في PPL مقارنة بأساليب KeyDiff وH$_2$O، بينما لم تكن الأبواب Softmax دائمًا أفضل. مما يفتح المجال لفهم أعمق حول كيفية تأثير تطبيع التركيز على انتقال الأبواب الرخوة المتعلمة بشكل نظيف إلى عمليات الحذف القاسية.

في النهاية، تظهر هذه النتائج أهمية تطوير أساليب تخليص الذاكرة في نماذج الذكاء الاصطناعي، بما يعود بالفائدة على كفاءة التعلم والتطبيقات العملية. ماذا تعتقدون حول دور تقنية الانتباه Sigmoid في المستقبل؟ شاركونا آراءكم!