شهدت نماذج اللغات الضخمة (Large Language Models) تقدماً مذهلاً في مختلف المجالات، إلا أن التكيف مع مجموعات البيانات الموزعة والحساسة للخصوصية يمثل تحديًا مستمرًا. إذ يجمع التعلم الفيدرالي (Federated Learning) مع التكيف منخفض الرتبة (Low-Rank Adaptation) إطار عمل موفر للموارد يمكّن من التخصيص التعاوني للنماذج.

لكن، رغم الفوائد، يواجه تنفيذ هذه النماذج تحديات مزدوجة تتمثل في تباين الموارد وتباين البيانات. غالبًا ما تركز الطرق الحالية التي تتعامل مع عدم التجانس في الرتبة على جسر الفجوات البُعدية من أجل الجمع، لكنها غالبًا ما توفر نموذجًا عالميًا موحدًا لجميع العملاء بنفس الرتبة، مما يؤدي إلى عدم القدرة على التقاط الخصائص الفريدة لكل عميل في سيناريوهات البيانات غير المستقلة والمتوزعة (Non-IID).

في هذه الورقة، نقدم FedRoRA (Federated Rank-wise Personalized LoRA) كإطار عمل مبتكر يمكّن من التخصيص الدقيق داخل الفيدراليات المتنوعة في الرتبة. يقوم FedRoRA بفصل التكيف إلى اتجاهات عالمية مشتركة ودرجات رتب شخصية تت governed من خلال مقاييس قطرية قابلة للتعلم. وعلى جانب الخادم، يقوم باستخراج مساحة فرعية عالمية باستخدام تحليل القيمة المفردة (Singular Value Decomposition) وإعادة توزيع التهيئات الأولية الخاصة بالعملاء من خلال آلية إسقاط شخصية واختيار أعلى $k$.

تظهر التجارب الواسعة على معايير فهم اللغة الطبيعية (NLU) وتوليد اللغة الطبيعية (NLG) أن FedRoRA يتفوق بشكل متواصل على الطرق الأخرى المتبعة، مما يحسم النقاش حول فعالية نماذج التعلم الفيدرالي في مواجهة التعقيدات الحالية.

ما رأيكم في هذه التطورات المذهلة؟ هل تعتقدون أن FedRoRA سيغير طريقة استخدامنا لنماذج التعلم الفيدرالي؟ شاركونا آراءكم وتجاربكم في التعليقات!