في عالم يتزايد فيه الاعتماد على الذكاء الاصطناعي وخصوصاً نماذج اللغات الضخمة (Large Language Models)، يُعتبر الأداء العالي عبر مختلف اللغات تحدياً كبيراً. هُنا يأتي دور COMPASS (COntinual Multilingual PEFT with Adaptive Semantic Sampling) كحل مبتكر لمشاكل الأداء المتباين.
تختلف أداء هذه النماذج بشكل كبير عبر اللغات، وغالباً ما يؤدي التعديل بسيط على النماذج متعددة اللغات إلى تدهور الأداء بسبب التداخل السلبي بين اللغات، وهو ما يعالجته COMPASS. يعتمد هذا الإطار الجديد على تحسين تدريب النماذج بنسبة فعّالة (PEFT) من خلال استخدام محولات عالمية خفيفة مخصصة للغات.
ترتكز الأسطورة الأساسية لـ COMPASS على استراتيجية عينة واعية للتوزيع، حيث تستخدم تضمينات متعددة اللغات لتحديد الفجوات الدلالية بين بيانات التدريب الحالية والتوزيع المستهدف للاستخدام. من خلال التركيز على البيانات المساعدة من المجموعات الدلالية التي تم تمثيلها بشكل قليل، يُمكن لـ COMPASS تحقيق نقل إيجابي عبر اللغات، مع الحد من أي تداخل.
تتوسع COMPASS أيضًا إلى إطار تعلم مستمر يسمى COMPASS-ECDA، والذي يراقب تغيرات توزيع البيانات في بيئات الانتاج، ويقوم بتحديث المحولات ديناميكياً لضمان عدم حدوث تراجع في النموذج. هذا التوازن بين التكيف مع البيانات الجديدة والمحافظة على المعرفة الحالية يجعل COMPASS الحل الأمثل لتطوير وصيانة نماذج متعددة اللغات عالية الأداء في بيئات ديناميكية.
تم اختبار COMPASS عبر ثلاث معماريات نماذج مختلفة (Phi-4-Mini، Llama-3.1-8B، وQwen2.5-7B) بالإضافة إلى مجموعة متنوعة من المعايير الصعبة متعددة اللغات (Global-MMLU، MMLU-ProX)، بما في ذلك مهام سياقية طويلة غير مسبوقة. وتظهر النتائج أن COMPASS يتفوق باستمرار على الطرق التقليدية المعتمدة على التشابه اللغوي، مما يجعل منه حلاً فعالًا ومستدامًا.
COMPASS: الابتكار الثوري في تطوير نماذج لغوية متعددة اللغات!
تقدم COMPASS إطاراً مبتكراً لتحقيق أداء متميز لنماذج اللغات الضخمة عبر عدة لغات، مع الحد من التداخل السلبي. باستخدام استراتيجية عينة مدروسة، تضمن COMPASS التكيف الفعّال مع متطلبات اللغة المستهدفة.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
