في عالم الذكاء الاصطناعي، تزداد أهمية إنتاج المحتوى طويل المدى مثل الفيديوهات التي تصل مدتها إلى دقيقة والنصوص المطولة. تمثل تقنيات التفريق الكتلي (Block Diffusion) خطوة مهمة في تحسين كفاءة النماذج من خلال تخزين المعرفة (KV Caching) والتفسير السببي على مستوى الكتل (Block-wise Causal Inference)، وقد تم تبنيها بشكل واسع في نماذج اللغة المستندة إلى التفريق وتوليد الفيديو.

ومع ذلك، في التطبيقات التي تتطلب سياقات طويلة، تكون هناك صعوبات كبيرة ناتجة عن إعادة حساب الانتباه (Attention) مرارًا وتكرارًا على ذاكرة التخزين. ويستعرض البحث المزود بآلية جديدة تدعى FlashBlock، والتي تستفيد من خاصية غير مستكشفة تخص التفريق الكتلي، وهي التكرار العابر لخطوات الانتباه داخل الكتلة.

تحمل نتائج التحليل دلالة قوية، إذ أظهرت أن المخرجات الانتباهية من الرموز خارج الكتلة الحالية تبقى مستقرة إلى حد كبير عبر خطوات التفريق، بينما تختلف الانتباهات الداخلية للكتلة بشكل كبير. بناءً على هذا المبدأ، تم تصميم FlashBlock كآلية لانتباه خارجي مُخزّن تعيد استخدام المخرجات الانتباهية الثابتة، مما يقلل من الحسابات والانتباه إلى ذاكرة التخزين دون تغيير عملية التفريق.

علاوة على ذلك، يمكن دمج FlashBlock مع الانتباه النادر (Sparse Attention)، مما يعزز من دقة النموذج تحت النماذج المعقدة. أظهرت التجارب التي أجريت على نماذج اللغة المستندة إلى التفريق وتوليد الفيديو زيادة تصل إلى 1.44 ضعف في تدفق الرموز وتقليص الوقت المستغرق في حساب الانتباه بمقدار 1.6 مرة، مع تأثير ضئيل على جودة الإنتاج.

لمزيد من المعلومات، يمكنكم زيارة صفحة المشروع هنا.

ما رأيكم في هذا الابتكار المتعلق بكفاءة معالجة المحتوى في نماذج الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!