في عالم الذكاء الاصطناعي، تأتي الابتكارات الجديدة لتفتح آفاقًا جديدة في كيفية معالجة البيانات وذاكرة الأنظمة. وفي هذا الإطار، تم تقديم نموذج "نموذج Preisach Attention Layer" (PAL)، الذي يعد بمثابة طفرة في هندسة النمذجة التتابعية، مُعتمدًا على مشغل الهستريس Preisach المعتمد في الفيزياء الرياضية.

يستبدل نموذج PAL آلية الانتباه التقليدية المعروفة باسم "softmax" بمشغل ثنائي (binary relay operator) مُحدد بواسطة عتبات التفعيل والإلغاء المتعلمة، مما يجعله يحتفظ بذاكرة محلية لها أقصى وأدنى قيم (local extrema) كحالة داخلية.

وبفضل تصميمه الفريد، يستطيع نموذج PAL-Transformer، ذو العمق O(1)، أن يكون مكتمل الحساب تحت حساب العشرية العشوائية، وهو ما يتحقق بفضل محاكاة آلة دفعتين. وهذه خاصية تجعله أكثر كفاءة من نماذج الانتباه التقليدية التي تتطلب عمقاً O(log n) للعمل.

وعلاوة على ذلك، يثبت البحث أن فئات الدوال التي يمكن حسابها بواسطة PAL وغير القابلة للمقارنة مع تلك التي يمكن للـ transformers تحقيقها. فعلى سبيل المثال، يمكن لموديل PAL حساب إحصائيات النطاق التاريخي في O(1) من الطبقات، بينما تتطلب النماذج التقليدية O(log n) من الطبقات لذلك.

والأكثر إثارة، أن نموذج PAL يستجيب فقط لتتابعات القيم القصوى، وليس لمواقع الرموز المطلقة أو الفواصل الزمنية، مما يعكس قدرة فعالة على معالجة المهام التي تتطلب ذاكرة طويلة وضعف الاعتماد على المواقع.

ويعتبر تكلفة الاستدلال الكلية لهذا النموذج O(n log n)، مقارنة بتكلفة O(n^2) للنماذج التقليدية، مما يعكس كفاءة إضافية تُعزز من تطبيقاته المستقبلية.

باختصار، يُعَد نموذج Preisach Attention Layer إنجازًا بارزًا في مجال النمذجة التتابعية، مما يوفر حلاً مبتكرًا يتماشى مع متطلبات العصر الحديث للذكاء الاصطناعي.