في عالم نماذج اللغة الحديثة، تُعتبر نماذج التحويل (Transformers) من أفضل الأدوات المستخدمة في تصنيف النصوص، ولكنها تواجه تحديات هامة مثل تمييع الانتباه وتأثير الغمر. هذه المشكلات تدفع النماذج إلى التركيز بشكل مفرط على الرموز غير ذات الصلة بالمهام، مما يؤثر سلباً على دقتها.

ولكسر هذه الحلقة، تم تقديم إطار العمل الجديد المعروف باسم AttCal. هذا الإطار يعتمد على تقنية جديدة تُعرف بالملاحظات الحساسية للمهام (Task-Space Sensitivity Feedback)، مما يسمح بتحسين توزيع الانتباه دون الحاجة إلى توجيه بشري مكلف أو استراتيجيات ثابتة.

بدلاً من ذلك، تعتمد AttCal على معالجة التوزيعات الانتباهية كسياسات عشوائية مما يُمكنها من توجيه الاضطرابات الحوادث في الرموز، واشتقاق الأهمية السياقية للرموز بناءً على التحولات الدلالية.

نقطة القوة الرئيسية في AttCal هي قدرتها على تجميد الهيكل الأساسي لنموذج اللغة المُسبق التدريب (Pre-Trained Language Model) وتحديث فقط طبقات الإسقاط المتعلق بالانتباه، مما يضمن كفاءة التدريب.

تمت مقارنة أداء AttCal عبر خمسة مجموعات بيانات مختلفة، حيث أظهرت النتائج تفوقه الكبير على النماذج التقليدية، حيث حقق زيادة دقة تصل إلى 15.8% لنموذج Llama3-8B، وتجاوزت الأداء القائم على الإشراف في كل من التصنيف وقابلية التفسير.

هذا الابتكار يفتح آفاق جديدة لتحسين نماذج اللغة ويعزز قدرتها على فهم السياقات بشكل أكثر دقة، وهو جهد يستحق المتابعة.