استكشاف الهندسة المستوية في نماذج اللغة المدربة مسبقاً: دراسة رائدة

في عالم الذكاء الاصطناعي المتقدم، تعتبر نماذج اللغة المدربة مسبقاً واحدة من أبرز الابتكارات التي غيرت طريقة فهمنا للغة الطبيعية. ومع ذلك، لم يكن من الواضح بعد كيف تؤثر البنية الهندسية لهذه النماذج على تفسيرها وسلامتها. في دراسة حديثة، تم طرح سؤال بالغ الأهمية: هل تكمن الإشارة التصنيفية على مستوى الجملة في الهندسة المستوية (Riemannian geometry) للتضمينات الرمزية السياقية؟

تتناول الدراسة منهجية جديدة تُعرف باسم التجميع الهندسي المستوي (Riemannian Mean Pooling، RMP)، والتي تعتمد على استخراج مقاييس خاصة بكل رمز من خلال جبر التحليل الخاص بمشفر متعلم. يتم تجميع هذه المقاييس باستخدام متوسط Fréchet على الفضاء الموجب المحدد. وقد أظهرت النتائج أن طريقة RMP تتفوق بشكل كبير على أسلوب التجميع الإقليدي (Euclidean mean pooling) في ثلاثة مجموعات بيانات تمتاز بهياكل لغوية معقدة، مثل CoLA وCREAK وRTE.

أحد الجوانب الأكثر إثارة للاهتمام في النتائج هو الأداء عند اختبار منهجية جديدة ضد مجموعة بيانات FEVER-Symmetric، حيث حققت نتائج متقطعة لمرور الآثار اللغوية المفرطة. أظهرت التحليلات التفصيلية أن مشفراً تم تدريبه عشوائياً مع تجميع Fréchet يتفوق على التجميع الإقليدي في اثنين من ثلاثة مجموعات بيانات. وقد أشرنا إلى أن مصدر التحسن يعود إلى التجميع الهندسي بدلاً من الهيكل المانع التعلم، حيث ساهم المشفر المدرب في توفير إشارة إضافية تحديداً في مجموعة بيانات CREAK، والتي تعد الأغنى بالمعلومات.