في عالم الذكاء الاصطناعي، تكمن واحدة من أكبر التحديات في الأداء المتفاوت لنماذج المزيج من الخبراء (MoE) عبر اللغات المختلفة. حيث أظهرت الدراسات أن هناك فجوة واضحة في الأداء بين اللغات ذات الموارد العالية واللغات ذات الموارد المحدودة. هذا الغموض في الأسباب الكامنة وراء هذه الفجوات هو ما يسعى الباحثون لفهمه.

في دراسة جديدة، قام الباحثون بإجراء تحليل شامل لأنماط توجيه الخبراء في نماذج MoE، حيث اكتشفوا ظاهرة جديدة تُسمى "العزلة اللغوية". تُظهر هذه الظاهرة أن اللغات ذات الموارد العالية والمنخفضة تميل إلى تفعيل مجموعات خبراء متفرقة بشكل كبير.

تقدم الدراسة نموذجاً يعتمد على هذا الاكتشاف، وهو إطار عمل رISE (تعزيز الشبكات الفرعية المستند إلى العزلة اللغوية)، حيث يُمكن هذا الإطار من تحديد وتكيف الشبكات الفرعية الخاصة بكل لغة بشكل فعّال. يقوم RISE بتطبيق استراتيجية اختيار ثلاثية، حيث يستخدم درجات التخصيص لتحديد الخبراء الخاصين بكل لغة في الطبقات السطحية والعميقة، بينما تُستخدم درجات التداخل لاختيار الخبراء العالميين في الطبقات الوسطى.

عبر تدريب الشبكة الفرعية المختارة فقط، مع تجميد جميع المعلمات الأخرى، يُظهر RISE تحسناً ملحوظاً في الأداء للغات ذات الموارد المنخفضة، مع الحفاظ على كفاءته في اللغات الأخرى. وقد أظهرت التجارب على 10 لغات مختلفة أن RISE تمكن من تحقيق زيادات في دقة اللغة المستهدفة تصل إلى 10.85% دون تدهور كبير في الأداء عبر اللغات الأخرى.

هل أنت متحمس لاكتشاف كيف يمكن أن يُحدث هذا التطور تغييراً في كيفية تدريب النماذج اللغوية لمختلف اللغات؟ شاركونا آراءكم في التعليقات!