في عالم الذكاء الاصطناعي، يظل 'فهم السياق الطويل' أحد أكبر التحديات التي تواجه نماذج اللغات الضخمة (Large Language Models) مثل Transformers. يتمثل أحد عوائق هذه النماذج في زيادة التعقيد الحسابي لتقنية Softmax Attention، الذي ينمو بشكل رباعي مع طول التسلسل وزيادة حجم الحالة في شكل ذاكرة KV، مما يمثل عقبة حقيقية في سيناريوهات السياقات الطويلة.

لكن هذا الوضع يتغير مع ظهور تقنية جديدة تُعرف باسم 'Blurry Window Attention' (BLA)، والتي تمثل بديلاً مبتكرًا يعتمد على مفهوم الـ ABC أو Attention with Bounded-memory Control. مستوحاة من نماذج الحالة-المكانية (State-Space Models) والتقنيات الحديثة، تقدم BLA كفاءة أفضل في المعالجة.

تقوم BLA بتخزين نافذة تردد، ليتم من خلالها إعادة بناء تاريخ KV الضبابي باستخدام تقنيات الاستيفاء القائمة على نوى ديريتشليت. يمكن اعتبارها توسيعًا لتقنية Sliding Window Attention (SWA) أو حالة خاصة من Gated Slot Attention (GSA)، حيث تطبق عامل الانحلال مع نوى ديريتشليت.

ومع تناولنا لكفاءة BLA، فإن نتائج الاختبارات تشير إلى تفوقها بثماني مرات على SWA، بينما تتنافس بشكل جيد مع نماذج الانتباه الخطية الشائعة. في اختبارات RegBench، أثبتت BLA وSWA تحسن أدائهما مع زيادة حجم الحالة، مما يسلط الضوء على قدرتها الفائقة في معالجة السياقات الطويلة بكفاءة.

تخبرنا هذه التطورات أنه بينما تتسابق التكنولوجيا بصفة مستمرة، فإننا نشهد ابتكارات تعيد تعريف ما يمكن أن يحققه الذكاء الاصطناعي في المستقبل.