في عالم الذكاء الاصطناعي، تعد آلية الانتباه الذاتي (Self-attention) حجر الزاوية في نماذج التحويل (Transformers) واسعة النطاق. ومع ذلك، فإن تكلفة التفاعل الرباعية بين الرموز تجعل من عملية الاستدلال (Inference) مكلفة للغاية. يسعى الباحثون إلى حلول أبسط لاستبدال الانتباه، ولكن الاستبدالات غير المدروسة غالبًا ما تؤدي إلى فقدان البيانات، خاصةً عند التعامل مع نماذج أكبر حجمًا.

تسلط ورقة بحثية جديدة الضوء على إمكانية تجاوز التعقيدات من خلال التركيز على الأنماط المختلفة التي تتسم بها تخفيضات الانتباه عبر طبقات التحويل. حيث تفترض الدراسة أن نماذج التحويل المدربة مسبقًا تقوم بتفكيك الاعتماد المعقد بين الرموز إلى مجموعة من التعيينات المختلفة ذات التعقيد المتنوع. مما يعني أنه يمكن تقريب بعض وظائف الطبقات واستبدالها بوحدات تسلسلية أبسط، مما يسهل العملية مع الحفاظ على الجودة.

اختبر الباحثون هذه الفرضية من خلال إطار عمل للتخفيض طبقة تلو الأخرى، وتمكنوا من استبدال وظائف الانتباه في نماذج التحويل الخاصة بالرؤية (Vision Transformers) بشكل فعال. أظهرت النتائج أن استبدال الطبقات التي تعتمد على الانتباه الضعيف يؤدي إلى تقليل كبير في تدني الدقة مقارنةً بالطبقات الأكثر كثافة.

بفضل هذه المدخلات، تم وضع تقنيات تدعم تخفيض الانتباه نحو تحسين الاستبدالات التسلسلية. من خلال فرض عدم الانتباه الواضح على نماذج ViT، تم ملاحظة أن زيادة ضعف المدرس تؤدي باستمرار إلى تقليل الفجوة بين الطالب والمدرس، مما يعني أن هذه الطريقة الجديدة تساهم في تحسين الأداء وتقليل حجم المعاملات وتأخيرات التنفيذ.

إن هذا البحث يعد خطوة مهمة في استمرار تحسين نماذج الذكاء الاصطناعي، حيث يتيح لنا الانتقال من التعقيد إلى البساطة، مع التأكيد على الفعالية والكفاءة.