في عالم الذكاء الاصطناعي، يشهد تدريب النماذج تقدمًا كبيرًا، لاسيما في استخدام نماذج Transformers. تقدم الساحة الحالية تقنيات لتدريب هذه النماذج، ولكن التحدي الأكبر يكمن في التعامل مع بيانات غير متجانسة (heterogeneous data) التي تؤثر على فعالية التحديثات.
أحدث الأبحاث أكدت على أهمية اعتماد تقنيات جديدة مثل FedACT، التي تهدف إلى تحسين موثوقية التحديثات ضمن بيئة تدريبات الاتحادات (Federated Learning).
تعمل FedACT من خلال تشكيل اتجاه تصحيحي عالمي للتحديثات، ثم تقوم بإعادة تخصيص حجم التحديثات استنادًا إلى درجة الثقة لكل بعد، مما يعني تقديم خطوات أكبر للأبعاد التي تدعمها التدرجات المحلية والإصلاح العالمي، بينما تبقي على تحديثات أصغر لبقية الأبعاد.
تجارب مكثفة على نماذج Vision Transformers، والشبكات العصبية التلافيفية (CNNs)، ونماذج اللغات الضخمة (LLMs) أظهرت أن FedACT تحقق تحسينات ملحوظة مقارنةً بأساليب التكيف المعروفة، خاصة في البيئات التي تشهد تباينًا أكبر في البيانات.
تحليل الآليات أيضًا أظهر أن FedACT يحسن من اتساق الاتجاهات عبر العملاء المختلفين، مما يدل على أن تخصيص الثقة على مستوى الأبعاد يكمل التصحيح العالمي والمحلي بكفاءة أكبر.
مع التوجه المتزايد نحو تطبيقات الذكاء الاصطناعي، يجلب FedACT وعداً كبيراً لمستقبل عمليات التدريب، حيث من المتوقع إطلاق الشيفرة البرمجية قريبًا.