تعزيز القدرات الاستونية: استراتيجيات مبتكرة لنماذج لغوية متعددة اللغات

في عالم النماذج اللغوية الكبيرة، تُظهر الأبحاث الحديثة كيف يمكن تحسين الأداء اللغوي للغات الأقل شيوعاً مثل اللغة الاستونية. بينما تُركّز غالبية النماذج على بيانات باللغة الإنجليزية، قد يكون الأمر تحدياً ملحوظاً لضمان توازن الأداء عبر اللغات.

تقدم الدراسة الجديدة استراتيجيات مُبتكرة تعكس استخدام نموذجين أساسيين، هما Llama 3.1 8B و Apertus 8B، ويُظهران نتائج مُشجعة في تحسين الأداء اللغوي والاستيعاب. يأتي ذلك عبر اعتماد استراتيجيات مثل الاستمرار في تدريب النموذج (Continued Pretraining) مع إدماج محتوى استوني في عملية التكرار متعدد اللغات، يليها تدريب مُشرف أساسي في اللغة الإنجليزية.

تم تقييم النتائج عبر معايير استونية مختلفة، والدراسة تشير بشكل مثير إلى تحسن ملحوظ في مستوى الكفاءة اللغوية الاستونية، وتحسن في القدرة على التفكير والترجمة واتباع التعليمات. بينما أظهر نموذج Apertus مقدرة أقوى بلغة الاستونية قبل التكيف، حقق نموذج Llama تقدماً أكبر بعد التكيف، مما يمنح مؤشراً قوياً على الفوائد المستقبلية.

أيضاً، عند تقييم أداء النماذج، بالرغم من أن بعض الأداء باللغة الإنجليزية قد تراجع مقارنةً بالنماذج الأصلية، نجحت عملية دمج متجهات المحادثة في استعادة مستوى الأداء اللغوي والتفكير.

تُظهر هذه النتائج كيف يمكن أن يُحدث الاستمرار في التدريب بأساليب مُتوازنة لتدريب متعدد اللغات فرقاً حقيقياً في تحقيق الأداء المرتفع في البيئات اللغوية المتنوعة.