ألقت الأضواء مؤخراً على ثورة جديدة في عالم نماذج Transformers مع تقديم أسلوب مبتكر يعرف بالتضمينات النحوية المستنيرة (Syntax-informed Positional Embeddings أو SiPE). هذه التقنية تهدف إلى تحسين أداء النماذج من خلال إدماج المعلومات النحوية ببساطة في عملية التعلم.

تعمل التضمينات النحوية المستنيرة على تعلم معرفة نحوية خفيفة الوزن من تحليل التبعية (dependency parses) خلال مرحلة تدريب النموذج المسبق، مما يؤدي إلى ضخ هذه المعرفة في جميع فئات التضمينات المكانية (Positional Embeddings) الرئيسية (مثل التضمينات المطلقة، النسبية، والدورانية).

ما يميز SiPE هو كفاءتها في تحسين الأداء في الوقت نفسه دون الحاجة إلى إعادة هيكلة نموذج الآلة. حيث تم العثور على أن الدمج الأفضل يعتمد على هيكل النموذج، حيث تبين أن النموذج الذي يعتمد على الـ decoders يجب أن يكون فيه الدمج بطريقة مضاعفة مع المصطلح النسبي لمقياس الانتباه. بينما بالنسبة لـ encoders، فإن إضافة المعرفة مباشرة إلى التضمينات المدخلة يحقق نتائج أفضل.

الأبحاث تشير إلى أن النماذج التي تم تدريبها باستخدام SiPE تحقق تحسينات ملحوظة، حيث سجلت تحسينات بمقدار 10.3% على معيار SyntaxGym، بما يعكس القدرة على فهم بنية اللغة بشكل أفضل. كما ارتفعت درجات GLUE بمقدار 8.2%، مما يدل على فوائد متعددة في معالجة اللغة الطبيعية (Natural Language Processing).

من المثير للاهتمام أن SiPE لا تعتمد فقط على نماذج النحو الموجودة التي تتجاهل التركيب خلال وقت التشغيل، بل تدعم التحليل النحوي المحدد مما يجعلها خيارًا مثيرًا للاهتمام في مجال الذكاء الاصطناعي.

كيف تعتقد أن دمج العناصر النحوية في نماذج الذكاء الاصطناعي سيؤثر على تطويرها في المستقبل؟ شاركونا آرائكم في التعليقات!