في عالم الذكاء الاصطناعي (AI)، تحظى النماذج الهجينة (Hybrid Models) بشعبية متزايدة، حيث يجمع هذا النوع من النماذج بين كفاءة التكرار (Recurrence) وإبداع الانتباه (Attention). ومع ذلك، تعتمد معظم المقاربات الحالية على تطبيق الانتباه بشكل موحد على جميع المواقع، حتى عندما تكون الحالة التكرارية كافية لوحدها لإجراء تنبؤات دقيقة.

لذلك، تأتي الابتكارات مع AMOR (بوابة إخراج ميتا-معرفي القابلة للتكيف) لتمثل ثورة في هذا المجال. AMOR عبارة عن هيكل هجين يتم تطويره بعد عملية التنبؤ، حيث يعمل على تضمين الانتباه الانتقائي استنادًا إلى عدم اليقين التنبؤي. يتكون الهيكل من هيكل تكراري يتم تعزيزه بكتل انتباه تأتي مع بوابة إنتروبية (Entropy-Gated Attention Blocks)، تنشط فقط عندما يتجاوز عدم اليقين في مخرجات النموذج حدًا ديناميكيًا محددًا.

تتسم هذه الآلية بالبساطة والفعالية، إذ تستفيد من حساب مؤثرات عدم اليقين لتحقيق توجيه خالي من التدرجات. من خلال التقييمات على نماذج Mamba2 وGated DeltaNet التي تتراوح من 180 مليون إلى 1.5 مليار معامل، برهنت AMOR على قدرتها في مطابقة أو تجاوز كفاءة النماذج التكرارية البحتة وأساليب النماذج الهجينة التي تعتمد على جداول ثابتة. والأكثر إثارة، أنها تستخدم الانتباه فقط على حوالي 22% من الرموز.

تمكنت AMOR من تحقيق أداء قوي على معايير التفكير الشائع، مع التحليلات التي تظهر استقرار الأداء على المدى الطويل في اختبارات LongBench، حيث أن النماذج الهجينة السابقة كانت تعاني من تدهور في الأداء تحت تغيرات التوزيع. هذه النتائج تشدد على أهمية متى يتم تطبيق الانتباه بقدر ما هو مهم مقدار تطبيقه. إن تخصيص الانتباه بشكل انتقائي استنادًا إلى عدم اليقين التنبؤي ليس فقط يحسن الكفاءة، بل يوفر أيضًا مناعة أكبر، مما يشير إلى الانتقال نحو معمارية هجينة قابلة للتكيف تتناسب مع صعوبة المدخلات.