في عالم نماذج اللغات الضخمة (Large Language Models)، أصبح مفهوم خليط الخبراء (Mixture-of-Experts - MoE) شائعًا بشكل متزايد، حيث يُعزز من سعة النموذج مع تقليل العبء الحاسوبي من خلال تنشيط الخبراء المحدود. تعتبر هذه الميزات جذابة بشكل خاص للبيئات الموزعة ذات الموارد المحدودة. ومع ذلك، لا يزال التدقيق الفيدرالي (Federated Fine-Tuning) لهذه النماذج يواجه صعوبات خصوصًا في ظل البيانات غير المتجانسة التي تمتلكها العملاء.

غالبًا ما يكون لدى العملاء تفضيلات مهام مختلفة، حيث أن عملية تجميع التحديثات المحلية مباشرة قد تؤدي إلى إضعاف تخصص الخبراء وإدخال اتجاهات تحديث متضاربة على الخبراء المشتركين. لمواجهة هذه التحديات، تم اقتراح طريقة FedTAR، وهي تقنية فريدة للتدريب الفيدرالي المستند إلى المهام لنماذج MoE.

تعمل FedTAR على إنشاء ارتباط بين التحديثات المحلية وتفضيلات المهام من خلال مخرجات التوجيه، حيث تعتمد على تحليل القيم المنفردة (Singular Value Decomposition - SVD) لاستنباط إحداثيات المهام واتجاهات التحديث ضمن بنية منخفضة الأبعاد. بناءً على هذه الإحداثيات، تتم عملية تجميع داخل مجموعات العملاء ذات التفضيلات المتشابهة، وتجميع عبر المجموعات المختلفة.

تضمن التحديثات المجمعة التي تم الحصول عليها من هذه الطريقة أن تكون متوافقة مع توجهات تحسين المهام المحددة، مما يحافظ على تفرد الخبراء ويقلل من التدخلات الهدامة بين العملاء غير المتجانسين. أظهرت التجارب على أربع مهام معيارية تحت إعدادات غير متجانسة أن FedTAR تفوقت باستمرار على القواعد القوية للتدقيق الفيدرالي، محققةً أداءً يضعها في الطليعة.

إذا كنت مهتمًا بمجالات الذكاء الاصطناعي والتعلم الفيدرالي، فما رأيك في هذه التطورات المثيرة؟ هل تعتقد أن FedTAR تستطيع تغيير مسار النماذج اللغوية في المستقبل؟ شاركونا آرائكم في التعليقات!