في عالم معالجة اللغة الطبيعية، تعتبر نماذج اللغة الكبيرة (LLMs) أحد الأعمدة الأساسية التي تدعم تطبيقات يومية متعددة. إلا أن هذه النماذج، على الرغم من براعتها، تواجه تحديات كبيرة تتعلق بآلية الانتباه السببي (causal attention). هنا يأتي دور الابتكار الجديد Causal2Vec، والذي يعد خطوة ثورية لتحسين الأداء.

تهدف Causal2Vec إلى معالجة القيود التي تفرضها الانتباه السببي في تعلم التمثيلات، حيث يجد العديد من الباحثين صعوبات في هذا الجانب. تحاول الطرق التقليدية تعديل آلية الانتباه لتصبح ثنائية الاتجاه، مما قد يتسبب في فقدان القدرة على استخراج المعلومات الدلالية المكتسبة خلال مرحلة التدريب المسبق.

بالإضافة إلى ذلك، تعتمد المقاربات الرائدة ذات الاتجاه الواحد على نصوص إضافية لإنتاج تمثيلات سياقية، مما يزيد من التكاليف الحسابية وينتج عبئاً إضافياً على النظام.

ووفقًا للابتكار الذي يقدمه Causal2Vec، يتم استخدام نموذج خفيف مستخلص من BERT والذي يقوم بترميز النص المدخل إلى رمز سياقي واحد، يُضاف بعد ذلك إلى تسلسل إدخال النموذج. هذا يسمح لكل رمز بالتقاط المعلومات السياقية بدقة حتى في غياب التنبيه إلى الرموز المستقبلية.

ومن الجوانب المهمة التي يحددها Causal2Vec هو معالجة التحيز الناتج عن تجميع الرموز الأخيرة. حيث يتم دمج الحالات المخفية الأخيرة للرمز السياقي ورمز نهاية التسلسل (EOS) لتشكيل التمثيل النصي النهائي.

في الممارسة العملية، أثبت Causal2Vec قدرته العالية على تحقيق أداء غير مسبوق على معيار MTEB، متفوقًا على النماذج التي تم تدريبها على مجموعات بيانات استرجاعية متاحة للجمهور فقط.

تعد Causal2Vec بمثابة حلاً ممتازًا لشتى المهام المتعلقة بمعالجة اللغة الطبيعية دون الحاجة إلى تغييرات جذرية في الهيكل أو زيادة كبيرة في التكاليف. بفضل هذه الابتكارات، يتوقع أن تكون هناك تطبيقات واسعة لنماذج اللغة الكبيرة في المستقبل القريب.