أصبح التعلم الفيدرالي (Federated Learning) تقنية واعدة في مجال تدريب نماذج اللغة على مجموعات بيانات موزعة وخاصة تضم مهام متنوعة. ولكن، يمثل تجميع النماذج المدربة على مهام غير متجانسة تحدياً حقيقياً، حيث يؤثر سلباً على الأداء العام لكل عميل. لحل هذه المشكلة، تم تقديم نهج التعلم الفيدرالي المخصص (Personalized FL) الذي يهدف إلى إنشاء نماذج مصممة خصيصاً وفقاً لتوزيع بيانات كل عميل.

لكن، بالرغم من تحسين الأداء المحلي، تظل هذه الأساليب تفتقر إلى التحمل في جانبين رئيسيين: 1) **القدرة على تعميم النموذج**: في حال اضطر العملاء للتنبؤ بمهام غير مرئية أو مواجهة تغييرات في توزيعات بياناتهم؛ 2) **التداخل بين المهام داخل العميل**: عندما تحتوي بيانات عميل واحد على توزيعات متعددة قد تتداخل فيما بينها أثناء التدريب المحلي.

لمعالجة هذين التحديين، نقدم نموذج **FedRouter**، الذي يعتمد على تقنية التوزيع القائم على التجميع لإنشاء نماذج متخصصة لكل مهمة بدلاً من تخصيصها لكل عميل. يستخدم FedRouter محولات (Adapters) لتخصيص النماذج من خلال تطبيق آليتين للتجميع لتوصيل المحولات بمهام محددة. وتشمل هذه الآليات تجميعاً محلياً يربط المحولات بعينات بيانات المهام وتجميعاً عالمياً يربط محولات مشابهة من عملاء مختلفين لبناء نماذج مخصصة حسب المهام.

علاوة على ذلك، نقترح آلية توجيه تقييم تؤمن توجيه عينات الاختبار إلى أفضل محول بناءً على التجمعات التي تم إنشاؤها. أظهرت التجارب مقارنة طريقتنا مع الأساليب الحالية عبر مجموعة بيانات متعددة المهام أن FedRouter يتمتع بقوة تحمل متفوقة، محققاً أداءً أفضل بنسبة تصل إلى 6.1% في ظل تداخل المهام، وتحسناً نسبته تصل إلى 136% في تقييم القدرة على التعميم.