في عالم الذكاء الاصطناعي، يعتبر التعلم الفيدرالي (Federated Learning) أحد الاتجاهات الجديدة المتقدمة، ولكن يواجه تحديًا كبيرًا في التوسع على منصات خالية من الخوادم. تعاني التقنيات الحالية، مثل lambda-FL وLIFL، من قيود صارمة حيث يتطلب كل مجمعٍ الاحتفاظ بتدرج النموذج بالكامل في الذاكرة. عند تجاوز تدرجات النماذج لحدود الذاكرة (مثل 10 جيجابايت على AWS Lambda)، تصبح عملية التجميع غير ممكنة مهما كانت نوعية التركيب الشجري الذي يتم اختياره.

ومع ذلك، تم طرح الحل الجديد المعروف باسم GradsSharding. بدلاً من الاحتفاظ بالتدرج بالكامل، تقوم هذه التقنية بتقسيم تينسورات التدرج إلى M شرائح، حيث يتم متوسط كل شريحة بشكل مستقل من خلال وظيفة خالية من الخادم تستقبل المساهمات من جميع العملاء. وبما أن المتوسط يتم بشكل عنصر-عنصر، فإن النتائج تكون متطابقة تمامًا مع الطرق القائمة على الأشجار، مما يضمن ثبات دقة النموذج بشكل جوهري.

أحد أهم مزايا GradsSharding هو أنه يحد من الذاكرة المستخدمة لكل وظيفة إلى O(|{ heta}|/M)، مما يجعلها مستقلة عن عدد العملاء، مما يتيح التجميع لنماذج ضخمة دون قيد. قامت الأبحاث بفحص أداء GradsSharding مقابل التقنيات السابقة من خلال تجارب HPC ونشر حقيقي على AWS Lambda، من أحجام نماذج تتراوح من 43 ميجابايت إلى 5 جيجابايت. النتيجة كانت مثيرة للاهتمام، حيث أظهرت تقليصًا في التكلفة بنسبة 2.7 مرة عند حجم تدرج يبلغ حوالي 500 ميجابايت، مما يجعل GradsSharding الحل الوحيد القابل للتنفيذ بعد تجاوز حدود الذاكرة الخالية من الخادم.

وبذلك، تفتح تقنية GradsSharding آفاقًا جديدة في التعلم الفيدرالي، مما يقدم حلاً قويًا وفعالًا لمشكلات قديمة تعيق الابتكار في هذا المجال.