في عالم يتنامى فيه استخدام الذكاء الاصطناعي (AI) بسرعة، باتت الحاجة إلى تقنيات تعلم فعالة تزداد أكثر من أي وقت مضى. إحدى التقنيات الرائدة هي التعلم الفيدرالي (Federated Learning)، الذي يهدف إلى تدريب نماذج الذكاء الاصطناعي أثناء بقاء البيانات المحلية في أماكنها، مما يحسن من الخصوصية. لكن هناك تحديات عدة تواجه هذه التقنية، أهمها ضعف الأداء الناجم عن تباين البيانات بين العملاء.

في ضوء التطورات الأخيرة في نماذج اللغات الكبيرة متعددة الأبعاد (Multimodal Large Language Models) مثل GPT-4v وLLaVA، التي أثبتت قدرتها الرائعة في مهام متعددة الأبعاد مثل وصف الصور والإجابة على الأسئلة المتعددة الأبعاد، تم تقديم إطار عمل جديد يسمى التعلم الفيدرالي المدعوم بنماذج اللغات الكبيرة متعددة الأبعاد (MLLM-LLaVA-FL).

هذا الإطار يعتمد على قوة نماذج MLLMs في الخادم لمعالجة التحديات طويلة الذيل وغير المتجانسة. بفضل قدراتها المتقدمة في تمثيل البيانات عبر الأنماط المختلفة، ومعرفتها الواسعة من البيانات العامة، يتمكن الإطار من تجاوز عقبات الأداء واستغلال البيانات المفتوحة المتاحة على الإنترنت.

تتم عملية التعلم في MLLM-LLaVA-FL على ثلاث مراحل رئيسية. في المرحلة الأولى، يتم إجراء تدريب مسبق على النموذج باستخدام بيانات مرئية ونصية مستمدة من الإنترنت، بدعم من نماذج MLLMs. ثم يتم توزيع النموذج الذي تم تدريبه مسبقاً على مختلف العملاء للتدريب المحلي. وفي المرحلة الأخيرة، تُرسل النماذج المدربة محلياً مرة أخرى إلى الخادم، حيث تتم المحاذاة العالمية تحت إشراف MLLMs لتعزيز الأداء بشكل أكبر.

لقد أثبتت التقييمات التجريبية على المعايير المعتمدة أن الإطار يقدم أداءً واعداً في السيناريوهات التقليدية التي تتصف بتباين البيانات وتوزيع طويل الذيل بين العملاء. هذه التطورات تحمل في طياتها إمكانيات هائلة لتحسين كيفية تعاملنا مع بيانات التعلم الفيدرالي، مما يفتح آفاقاً جديدة للابتكار والتطوير في مجال الذكاء الاصطناعي.