في عالم الذكاء الاصطناعي، تتوالى الابتكارات بسرعة، وآخرها هو ظهور نموذج LaplacianFormer، الذي يعد تغييرًا جذريًا في أسلوب معالجة الانتباه ضمن نماذج Transformers. من المعروف أن التعقيد الرباعي لخوارزمية "الانتباه الناعم" (softmax attention) يعتبر أحد العوائق الكبرى التي تواجه تطور هذه النماذج، وخاصةً عند استخدامها في مهام رؤية عالية الدقة.

حاول العديد من الباحثين تقديم بدائل تعتمد على الانتباه الخطي (linear attention)، لكن غالبية هذه البدائل كانت تعتمد على أنوية غاوسية، وهو ما يؤدي إلى تجاهل العديد من التفاعلات المتوسطة بين الرموز (tokens) ويعود تأثيره سلباً على جودة النتائج.

يقدم LaplacianFormer حلاً مبتكرًا عبر استخدام نواة لابلاسيان كبديل أصيل، وينطلق هذا الاقتراح من مشاهدات تجريبية وتحليل نظري عميق. لتعويض الفقد في التعبيرية الذي يظهر عند استخدام تقريب منخفض الرتبة، طوّر الباحثون خريطة ميزات قابلة للإثبات، تحافظ على المعلومات الدقيقة للرموز.

من أجل تعزيز الكفاءة الحسابية، تم اعتماد تقريب Nyström لمصفوفة النواة، حيث تم حل النظام الناتج باستخدام خوارزمية نيوتن-شولز، مما يساعد في تجنب العمليات الحسابية المكلفة مثل عكس المصفوفات. علاوة على ذلك، تم تطوير تنفيذات مخصصة باستخدام CUDA لكل من النواة والحل، مما يتيح عمليات تمرير أمامية وخلفية ذات إنتاجية عالية، مما يجعلها مناسبة للاستخدام في الأجهزة المتنقلة.

تظهر نتائج التجارب على مجموعة بيانات ImageNet أن LaplacianFormer يحقق توازنًا رائعًا بين الأداء والكفاءة، مما يعزز تعبير الانتباه بشكل ملحوظ، ما يجعله مناسبًا لتطبيقات الذكاء الاصطناعي المتقدمة.