اكتشاف حدود نقل المعرفة عبر اللغات في نماذج اللغة الضخمة!

خطت نماذج اللغة الضخمة (Large Language Models) خطوات جبارة في معالجة نماذج متعددة للغات، لكن هل تساءلت يومًا عن سبب عدم قدرتها على نقل المعرفة بشكل فعّال بين هذه اللغات؟! وإلا كيف يمكن أن تتفوق عليها القدرات البشرية في تعدد اللغات؟

قد سلطت دراسة حديثة الضوء على هذا الأمر، حيث أظهرت أن هذه النماذج تعاني من عجز كبير عند محاولة نقل المعرفة عبر اللغات، مما يحد من كفاءتها في التعامل مع مهام متعددة اللغات. ورغم توثيق هذه الظاهرة جيدًا، إلا أن أصولها أثناء التدريب المتعدد اللغات تبقى غامضة.

استنادًا إلى التدريب على نموذجين ببارامترات 360 مليون و7 مليار، وجد الباحثون أن ضعف قدرة النموذج في نقل المعرفة عبر اللغات يظهر خلال مرحلة التدريب الأولية ويستمر حتى مع التدخلات القياسية.

لتحليل السبب، قام الباحثون بممارسة إعداد تدريب متحكم ثنائي اللغة باستخدام نسختين من نفس اللغة، حيث تتشارك النص والتقطيع، لكن مع خلوّ كل لغة من فضاءات التوكن (token spaces) المنفصلة.

وتبين أن وجود توكنات منفصلة بما فيه الكفاية كافٍ لإحداث فصل في المعرفة، حتى بين نسخ مماثلة من نفس اللغة. وقد أظهرت الأبحاث أن استخدام مساحة توكن مشتركة عبر ترجمة الكلمات يمكن أن يعزز بشكل كبير من القدرة على نقل المعرفة عبر اللغات، مما يستعيد حتى 12.6% من كفاءة التعلم باللغة الأصلية - أي 14 مرة مقارنة بالأساس.

إن فهم هذه الديناميكية يمهد الطريق لتحسين الأداء في تعلّم اللغات داخل النماذج الضخمة، وقد يكون الحل بسيطًا كما تبدو ترجمات الكلمات.