في عالم الذكاء الاصطناعي، يعتبر توليد النصوص الطويلة من التحديات الكبيرة. تعتمد التطبيقات الحديثة لنماذج اللغة الكبيرة (Large Language Models) بشكل متزايد على استخدام بادئات (Prefixes) طويلة للتحكم في سلوك النموذج أثناء مرحلة الاستدلال. ورغم فعالية هذه التقنية، إلا أنها تعاني من محدوديتين هيكليتين رئيسيتين: أولاهما تلاشي تأثير البادئة مع تقدم عملية التوليد، وثانيهما زيادة تعقيد حسابات الانتباه (Attention) كلما طالت البادئة.

تقدم الطرق التقليدية إما الحفاظ على الانتباه للبادئة مع ضغطها، أو إدماجها في معلمات النموذج من خلال التدريب القائم على التدرج. لكن الطريقة الأولى لا تزال تعتمد على البادئة أثناء الاستدلال، بينما يمكن أن تكون الطريقة الثانية كثيفة في متطلبات التدريب وغير مناسبة لتحديث البادئة.

لمعالجة هذه المشكلات، اقترح الباحثون تقنية جديدة تعرف بذاكرة حالة الانتباه (Attention-State Memory). حيث تتيح هذه التقنية عدم الحاجة إلى التدريب، من خلال نقل البادئة إلى ذاكرة خفيفة تعتمد على البحث المسبق لحالات الانتباه بين رموز البادئة والاستعلام (Query Tokens).

عند اختبار هذه الطريقة باستخدام نموذج LLaMA-3.1-8B على مجموعة بيانات ManyICLBench، أظهرت النتائج تحسناً في الدقة مقارنةً بتعلم السياق بميزانيات ذاكرة تتراوح بين 1K-8K، كما تم تقليل زمن الانتظار في حسابات الانتباه بمعدل 1.36 مرة عند استخدام 8K من الذاكرة، مما يتجاوز أداء الطرق التقليدية للانتباه الكامل على معيار NBA باستخدام 20% فقط من متطلبات الذاكرة.

يبدو أن هذه التطورات ستفتح آفاقًا جديدة في كيفية تحسين أداء نماذج اللغة وتعزيز كفاءتها، مما يعكس حاجة متزايدة لاستراتيجيات مبتكرة في مجال الذكاء الاصطناعي.