اكتشاف ثبات الاستدلال متعدد اللغات في نماذج اللغات الضخمة باستخدام أجهزة ترميز فراغية مستقلة هندسياً!

في دراسة غنية بالمعلومات نشرت على منصة arXiv، تم تسليط الضوء على قدرة نماذج اللغات الضخمة (LLMs) في حل المسائل الرياضية عبر لغات متعددة، منها الإنجليزية والألمانية والفرنسية والإسبانية والروسية والصينية. ومع ذلك، يظل التساؤل قائمًا: هل تعتمد هذه النماذج على ميزات مشتركة بين اللغات، أم أنها تستند إلى حسابات خاصة بكل لغة تُنتج مخرجات مشابهة فقط؟

قام الباحثون بدراسة هذا المفهوم عبر تحليل خمس نماذج من أربع عائلات مختلفة، باستخدام مجموعة بيانات الرياضيات المدرسية متعددة اللغات (MGSM). بدايةً، استخدم الباحثون تقنية محاذاة النواة المركزية (CKA) لتحديد الطبقات التي تمتلك توافقًا عبر اللغات. وفي كل طبقة تم تحديدها، تم تدريب جهازين ترميزين فراغيين مستقليّن (SAE): نموذج أساس يعتمد فقط على إعادة البناء ونموذج تبايني جديد يسمى Geometry-Invariant SAE (GI-SAE).

تم تحسين GI-SAE لخسارة إعادة البناء بإضافة خسارة تقدير الضوضاء المعلوماتية التباينية (InfoNCE)، مما يمكّن المحول من إنتاج تنشيطات مشابهة لنفس المشكلة، بغض النظر عن اللغة أو موضع الرموز. بعد ذلك، تم اختبار فيما إذا كانت الميزات المشتركة الناتجة قابلة للتبادل وظيفيًا من خلال تغيير قيمها بين اللغات أثناء تمرير النموذج للأمام وقياس التغيير الناتج في المخرجات باستخدام انحراف كولباك-ليبلر (KL).

على الرغم من أن GI-SAE يظهر تحسينات ملحوظة في توافق CKA والتشابه الجاكاردي في كل طبقة تقريبًا، إلا أن ارتفاع التشابه الهندسي لا يعني دائمًا تبادلًا وظيفيًا أكبر. وجدت الدراسة أن مشاركة الميزات عبر اللغات تعتمد على النموذج والهيكل، كما أنها تحدث في أعماق مختلفة في النماذج المختلفة. وعليه، يُعزز GI-SAE هيكلية اللغة المتقاطعة الموجودة مسبقًا، حيث يختلف النمط من نموذج لآخر، مع تعزيز في Qwen دون فوائد وظيفية في Gemma وتأثيرات مختلطة حسب الطبقة في Llama وPhi.

في ختام هذا البحث، يُظهر الابتكار الجديد في نماذج اللغات الضخمة قدرة مدهشة على استغلال الميزات عبر اللغات، مما يفتح آفاق جديدة في فهم الذكاء الاصطناعي وقدرته على معالجة المشكلات الرياضية بشكل مستدام.

ما رأيكم في هذا التطور المذهل؟ شاركونا آراءكم في التعليقات!