في عالم الذكاء الاصطناعي، تعد آلية [الانتباه الذاتي](/tag/[الانتباه](/tag/الانتباه)-الذاتي) (Self-attention) حجر الزاوية في [نماذج التحويل](/tag/[نماذج](/tag/نماذج)-التحويل) ([Transformers](/tag/transformers)) واسعة النطاق. ومع ذلك، فإن تكلفة [التفاعل](/tag/التفاعل) الرباعية بين الرموز تجعل من عملية [الاستدلال](/tag/الاستدلال) (Inference) مكلفة للغاية. يسعى الباحثون إلى [حلول](/tag/حلول) أبسط لاستبدال الانتباه، ولكن الاستبدالات غير المدروسة غالبًا ما تؤدي إلى فقدان البيانات، خاصةً عند التعامل مع [نماذج](/tag/نماذج) أكبر حجمًا.

تسلط ورقة بحثية جديدة الضوء على إمكانية تجاوز التعقيدات من خلال التركيز على الأنماط المختلفة التي تتسم بها [تخفيضات](/tag/تخفيضات) [الانتباه](/tag/الانتباه) [عبر](/tag/عبر) طبقات التحويل. حيث تفترض [الدراسة](/tag/الدراسة) أن [نماذج التحويل](/tag/[نماذج](/tag/نماذج)-التحويل) المدربة مسبقًا تقوم بتفكيك الاعتماد المعقد بين الرموز إلى مجموعة من التعيينات المختلفة ذات التعقيد المتنوع. مما يعني أنه يمكن [تقريب](/tag/تقريب) بعض [وظائف](/tag/وظائف) الطبقات واستبدالها بوحدات تسلسلية أبسط، مما يسهل [العملية](/tag/العملية) مع الحفاظ على الجودة.

اختبر الباحثون هذه الفرضية من خلال إطار [عمل](/tag/عمل) للتخفيض طبقة تلو الأخرى، وتمكنوا من استبدال [وظائف](/tag/وظائف) [الانتباه](/tag/الانتباه) في [نماذج التحويل](/tag/[نماذج](/tag/نماذج)-التحويل) الخاصة بالرؤية ([Vision Transformers](/tag/vision-transformers)) بشكل فعال. أظهرت النتائج أن استبدال الطبقات التي تعتمد على [الانتباه](/tag/الانتباه) الضعيف يؤدي إلى تقليل كبير في تدني [الدقة](/tag/الدقة) مقارنةً بالطبقات الأكثر كثافة.

بفضل هذه المدخلات، تم وضع [تقنيات](/tag/تقنيات) تدعم تخفيض [الانتباه](/tag/الانتباه) [نحو](/tag/نحو) [تحسين](/tag/تحسين) الاستبدالات التسلسلية. من خلال فرض عدم [الانتباه](/tag/الانتباه) الواضح على [نماذج](/tag/نماذج) ViT، تم ملاحظة أن زيادة ضعف المدرس تؤدي باستمرار إلى تقليل [الفجوة](/tag/الفجوة) بين الطالب والمدرس، مما يعني أن هذه الطريقة الجديدة تساهم في [تحسين الأداء](/tag/[تحسين](/tag/تحسين)-[الأداء](/tag/الأداء)) وتقليل حجم المعاملات وتأخيرات التنفيذ.

إن هذا [البحث](/tag/البحث) يعد خطوة مهمة في استمرار [تحسين](/tag/تحسين) [نماذج](/tag/نماذج) الذكاء الاصطناعي، حيث يتيح لنا الانتقال من التعقيد إلى البساطة، مع التأكيد على الفعالية والكفاءة.