شهدت الأبحاث في الذكاء الاصطناعي تقدمًا ملحوظًا مع ابتكار تقنيات جديدة تُسهم في تحسين أداء نماذج اللغة الكبيرة (LLMs). أحد هذه الابتكارات هو "Pulsar Attention"، وهي تقنية تمثل نقلة نوعية في مجال تلخيص الإحصاءات ضمن أنظمة الحوسبة الموزعة، مما يساعد في تفكيك التعقيدات التي تواجه التحليل على تسلسلات طويلة.

تعتبر نماذج اللغة الكبيرة مسعى طموحًا، إلا أن تكاليفها الحاسوبية قد تمنع استخدامها الفعّال في بعض التطبيقات. حيث تُظهر الدراسات أن معالجة التسلسلات الطويلة تتطلب موارد هائلة نتيجة التعقيد الرباعي لآلية الانتباه الذاتي (Self-Attention). في الوقت نفسه، قدمت الأساليب الموزعة مثل "Star Attention" حلاً جزئيًا عن طريق توزيع السياق عبر عدد من الأجهزة، لكنها تعتمد على إضافة نسخة ثابتة وغير واعية للمحتوى من الكتلة الأولى، مما يقلل من كفاءتها.

هنا يأتي دور "Pulsar Attention"، الذي يقدم بديلاً مبتكرًا عن الإجراء السابق، حيث يعتمد على مكونين خفيفين واعيين للمحتوى. الأول هو "attention-sink prefix" الذي يعمل على استقرار الدالة اللينة (softmax)، والثاني هو ملخصات عبر الكتل مبنية بواسطة خوارزمية "Max-IDF"، والتي تختار الأجزاء التي تحتوي على رموز نادرة عالميًا. هذا الابتكار ساهم في تقليل تكاليف العملية بنسبة تصل إلى 3.3 مرات مقارنة بـ"Star Attention"، مع الاحتفاظ بنفس footprint لذاكرة KV.

عند الاختبار على كل من مجموعتين RULER وBABILong باستخدام النموذج "Llama-3.1-8B"، أظهرت "Pulsar Attention" تفوقًا ملحوظًا على كل من "Star Attention" والانتباه الكثيف وذلك بزيادة القيم المطلقة بنسبة تصل إلى 4.7% عن النماذج التقليدية.

مع هذا الابتكار، نُحسن من فعالية استخدام نماذج اللغة الكبيرة، مما يمهد الطريق لأبحاث مستقبلية قد تغير من اتجاهات الذكاء الاصطناعي.