في السنوات الأخيرة، أصبح تعلم الرسوم البيانية المتعدد الأنماط (Multimodal Graph Learning - MGL) محط أنظار العديد من الباحثين في مجال الذكاء الاصطناعي، حيث يسعى لدمج أنواع المعلومات المختلفة والسياقات المنظمة لدعم التطبيقات الشبكية المتنوعة. ولكن، تواجه هذه التطبيقات تحديات جمة، حيث تُعتبر الرسوم البيانية في العالم الحقيقي غالبًا معزولة بسبب قيود مشاركة البيانات بين الأطراف المختلفة، وغالبًا ما تكون أنماط البيانات ناقصة.

تتمثل الحاجة الملحة في تطوير نهج فيدرالي قوي يمكنه معالجة هذه التحديات. ومع ذلك، فقد أظهرت الدراسات أن الأساليب الحالية غير كافية لذلك. فمن جهة، تهمل أساليب MGL المركزية التي تتعامل مع الأنماط المفقودة أهمية تبادل المعرفة والتعميم في السيناريوهات الفيدرالية. ومن جهة أخرى، على الرغم من نضوج طرق MGL الفيدرالية، فإنها تستهدف بشكل رئيسي البيانات غير المتعلقة بالرسوم البيانية.

استنادًا إلى هذه التحديات، قمنا بتقديم خطتين رئيسيتين: الأولى هي إكمال الأنماط المفقودة على جانب العميل، بينما تتضمن الثانية دمج المعلمات المحدّثة من كل عميل على جانب الخادم. ورغم أن هذا يمثل حلًا عامًا، إلا أننا واجهنا تحديين رئيسيين في السعي نحو تعزيز القوة: 1) إكمال موضعي معزول من حيث التركيب، حيث يكافح توليد الأنماط على جانب العميل للاستفادة بفاعلية من الدلالات العالمية. 2) توافق عالمي غير متوازن، حيث تعيق التحديثات من العملاء التي تتنوع في توفر الأنماط وموثوقيتها التعاون بين الأطراف المتعددة.

لحل هذه التحديات، قدمنا extsc{FedMPO}، والذي يستخدم التوليد المتقاطع المدرك للتركيب لاستعادة الأنماط المفقودة باستخدام السياق الرسومي الشامل، وتوجيه الخبراء المدرك لعدم التوافر لتصفية الإشارات المعاد تشكيلها الضوضائية محليًا، وكذلك التجميع المدرك للموثوقية لوزن التحديثات غير الموثوقة بشكل مناسب. تظهر التجارب الواسعة على ثلاث مهام عبر ستة مجموعات بيانات أن FedMPO يتفوق على الأساليب التقليدية، محققًا زيادة في الأداء تصل إلى 4.10% و5.65% في البيئات ذات الأنماط المفقودة العالية وغير المستقلة.

هل تعتقد أن هذه الأساليب ستحدث ثورة في تعلم البيانات المعقدة؟ دعنا نعرف رأيك في التعليقات!