في السنوات الأخيرة، أصبحت تقنيات الـ Super-Resolution (SR) تعتمد بشكل كبير على نماذج Transformers نظرًا لقدرتها الكبيرة على النمذجة ذات المدى الطويل. ومع ذلك، فإن العديد من هذه النماذج تواجه تحديات كبيرة بسبب الاعتماد على تكنولوجيا bias الموضعية النسبية (Relative Positional Bias-RPB). هذه الاعتماديات تمنع تلك النماذج من الاستفادة من كارني الإهتمام الفعال من حيث الأداء مثل FlashAttention، مما يؤدي إلى أعباء حسابية مكثفة خلال التدريب والاستدلال، وفي نهاية المطاف تقيد جهود توسيع نطاق الـ SR Transformers.

لذا، فإننا نقدم في هذا البحث تقنية جديدة تُدعى Rank-factorized Implicit Neural Bias (RIB) كبديل مناسب لـ RPB. RIB يُمكنها من استخدام FlashAttention بطريقة أكثر كفاءة عن طريق تقدير bias الموضع باستخدام تمثيلات عصبية ضمنية منخفضة الرتبة، حيث يتم دمج هذه التمثيلات مع محتوى البيكسل في قنوات متزامنة. هذا التحول يحول عملية إضافة bias بين العناصر في حساب نقاط الإهتمام إلى عملية ضرب نقطية.

علاوة على ذلك، تم تصميم استراتيجية الإهتمام المحلي بالتلافيف وشباك دائري لاستغلال المزايا الكاملة للتفاعل على المدى الطويل، مما يمكّن النموذج من زيادة حجم الشباك إلى 96×96، بينما يتم توسيع حجم مقاطع التدريب وحجم مجموعة البيانات في نفس الوقت.

وبفضل هذا الابتكار، تمكن النموذج من تحقيق معدل PSNR مذهل قدره 35.63 ديسيبل على مجموعة Urban100×2، مع تقليل الوقت اللازم للتدريب والاستدلال بمعدل 2.1× و 2.9× على التوالي مقارنة بالنموذج التقليدي القائم على RPB.

هذا التطور لا يُظهر فقط إمكانيات جديدة في تقنية الـ Super-Resolution، ولكنه يعد أيضًا خطوة مهمة نحو تعزيز فعالية نماذج Transformers في مختلف مجالات الذكاء الاصطناعي. ما رأيكم في هذه الابتكارات المثيرة؟ شاركونا في التعليقات!