في عالم الذكاء الاصطناعي، يقف تحدي توليد السياقات الطويلة واحدة من أكبر العقبات أمام النماذج اللغوية الكبيرة (Large Language Models). فهو يعتمد بدرجة كبيرة على عرض النطاق الترددي لذاكرة النظام أكثر من الاعتماد على قوة المعالجة. مع كل خطوة في عملية التوليد، يتوجب تدفق البيانات المتراكمة من الذاكرة، مما يجعل الطلب على النطاق الترددي ينمو مع طول السياق، بينما يتم إصدار رمز واحد فقط. ولهذا السبب، ظهرت طريقتان متوازيتان لتحقيق تحسينات: الأولى تتمثل في تقليل الوصول إلى الذاكرة من خلال تحسينات فعالة في آلية الانتباه (Attention)، والثانية تتمثل في زيادة القدرة على المعالجة المتوازية من خلال توليد كتلة من الرموز في آن واحد.

ومع ذلك، تظهر تحديات فنية عند دمج هاتين الفكرتين. وقد استخدمت نماذج الانسياب الهجينة السابقة مثل DiffuMamba مزيجًا ثنائي الاتجاه، مما يعني أنها تحتاج إلى مسح كامل للتسلسل مما يعيق إمكانية إعادة استخدام الحالات بدقة كذاكرة.

وفي استجابة لهذه التحديات، نقترح نموذج BDLM Mamba-نظام الانتباه الهجين الذي يقيد مسح الماسح العكسي لكتلة إزالة الضوضاء المنشّطة، مما يتيح التخزين الدقيق عبر الكتل. من خلال تجربة تشمل 87 مليون معلمة، أثبت BDLM Mamba-H قدرته على تحقيق أفضل أداء مقارنة مع نماذج BDLM الأخرى، مبرهنًا على فعاليته العالية.

تظهر النتائج تفوق BDLM Mamba-H بتقنية جديدة تُعد بمثابة إنجاز كبير في الخصوصية والكفاءة لتوليد المحتوى، مما يفتح آفاقًا جديدة لتطبيقات الذكاء الاصطناعي في مختلف المجالات.