تحمل الفشل المتزامن: ابتكار جديد في التعلم الفيدرالي لمواجهة مشاكل الأجهزة المترابطة

في عالم التعلم الفيدرالي (Federated Learning) المتزايد التعقيد، حيث تعتمد الأنظمة على الأجهزة المحمولة التي قد تكون غير موثوقة بسبب الحركة، قيود الطاقة، ونشاط المستخدم، تظهر الحاجة لتحسين ممارسات المزامنة. أحد التحديات الكبرى هو الانقطاع في المزامنة الناتج عن سلوك الأجهزة غير المتوازن، والذي يمكن أن يؤدي إلى عدم تكافؤ في تدريب النماذج.

تقنية Probabilistic Synchronous Parallel (PSP) تستخدم لتخفيف الاختناقات من خلال اختيار مجموعة فرعية من العقد المشاركة في كل دورة. لكن، تواجه PSP قيودًا مهمة حيث تفترض أن سلوك الأجهزة ثابت وأنها مستقلة عن بعضها. هذا يمكن أن يؤدي إلى تجارب تدريب غير عادلة، حيث تهيمن العقد الأكثر توافرًا على عملية التدريب، مما يؤدي إلى تجاهل بيانات الأجهزة غير المتاحة.

ولمعالجة هذه المشكلة، تم تقديم تقنية Availability-Weighted PSP (AW-PSP) كامتداد لـ PSP. AW-PSP يتميز بتعديل ديناميكي لاحتمالات اختيار العقد بناءً على توقعات التوافر في الوقت الحقيقي والسلوك التاريخي، مما يضمن تمثيلًا أكثر عدالة لكل فئات البيانات. تعتمد AW-PSP على نموذج ماركوف لتفريق بين الفشل المؤقت والمزمن، ما يسمح للنظام بالتكيف بشكل أفضل مع حالات الفشل المتكررة.

من خلال تقييمات قائمة على تتبع البيانات، أظهرت AW-PSP تحسينًا كبيرًا في القدرة على التعلم، زيادة في التغطية العالية للفئات، وتقليل في تباين العدالة مقارنة بأساليب PSP التقليدية. هذا الابتكار يوفر بروتوكولًا للعينات الوعي بالتوافر ومتوازنًا من حيث العدالة لعمليات التعلم الفيدرالي، مما يجعله قابلاً للتوسع ليشمل أعداد كبيرة من العقد حتى في البيئات المتنوعة والمعرضة للفشل.