في عالم الذكاء الاصطناعي وتطبيقاته المتعددة، يتزايد الاهتمام بفهم المعادلات التفاضلية الجزئية (PDEs) بفضل التطورات المتسارعة في نماذج التعلم العميق. ومن هذا المنطلق، تم الإعلان عن نموذج جديد يُعرف باسم SPEAR، الذي يعتمد تقنيات مبتكرة لتحسين عملية التدريب المسبق (pre-training) على نطاق واسع.

يعاني العديد من النماذج الحالية من تحديات تتعلق بالتنوع الديناميكي، حيث يمكن أن تتسبب التمثيلات المشتركة في تداخل المعرفة، مما يؤدي إلى ضعف الأداء. جاء SPEAR ليحل هذه المشكلة من خلال اعتماده على مفهوم عمليات خلط الخبراء (Mixture-of-Experts) بطريقة مبتكرة.

يتجه SPEAR لفصل الميزات الداخلية إلى مكونات بترددات منخفضة وعالية، مما يسمح بنمذجة ديناميكيات قابلة للنقل وتعلم أنماط خاصة بالمعادلات التفاضلية بشكل مخصص.

إلى جانب ذلك، تم تطوير استراتيجية لإدارة تجميع الخبراء تستند إلى المعرفة المكتسبة من البيانات، مما يسهل تحديد الخبراء المتشابهين وتوحيدهم مما يقلل من عددهم بنسبة تصل إلى 50% دون التأثير سلبًا على دقة التنبؤ.

تظهر التجارب التي أُجريت على اثني عشر مجموعة بيانات لمعادلات تفاضلية وأطر عمل متعددة أن SPEAR يتفوق في الأداء سواء في التدريب المسبق أو التكييف أو التعلم الانتقالي، مما يجعله علامة بارزة في مجال أبحاث المعادلات التفاضلية ونماذج التعلم العميق.