نموذج Mixtures of SubExperts؟">ما هو نموذج Mixtures of SubExperts؟
تم تصميم نموذج MoSEs لحل "معضلة الاستقرار والمرونة" التي تواجه نماذج اللغات الضخمة (Large Language Models) والتي تحتاج إلى الجمع بين القدرة على التعلم دون تجاوز معرفتها السابقة. باستخدام بنية معيارية وناعمة، يقسم MoSEs سعة النموذج إلى عناصر فرعية يمكن إعادة استخدامها.
عمل MoSEs">آلية عمل MoSEs
يعتمد نموذج MoSEs على تعزيز طبقات المحولات (Transformers) بوحدات فرعية خفيفة وبآلية توجيه متعلمة، مما يسمح بإختيار وتركيب مجموعة فرعية من الوحدات بناءً على مدخلات المهمة الحالية. هذا يحسن من إمكانية الوصول إلى المعرفة ويحد من أي تداخل أو فقدان.
الفوائد
1. **استقرار المعرفة:** يتم عزل المعرفة ضمن وحدات نشطة بشكل نادر، مما يقلل من تداخل المعلومات.
2. **المرونة من خلال إعادة التركيب:** يتيح توجيه المعلومات إعادة تركيب المعرفة بشكل فعال.
3. **قابلية التطوير:** تحقق MoSEs نموًا فرعيًا في القدرة الفعالة، مما يعني أن النموذج لن يحتاج إلى زيادة ضخمة في المعلمات.
عبر إجراء اختبار تجريبي على مجموعتي بيانات TRACE وSuperNI، أثبتت النتائج أن MoSEs يحقق تقليلًا في فقدان المعرفة ويعزز التحكم في المعلمات، متجاوزًا المعايير العالية المعروفة.
الخلاصة
إن الأدلة تشير إلى أن اتخاذ خطوات نحو النموذجية والندرة التركيبية قد يكون المفتاح لبناء نماذج أساسية تتعلم باستمرار دون الوصول إلى نقطة التشبع. هل تعتقد أن MoSEs سيغير مستقبل الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!