في عالم تطوير الذكاء الاصطناعي، لا تزال نماذج الفضاءات الحالة (State-Space Models) تحرص على التوازن بين الكفاءة والقدرة التعبيرية. حيث تعاني النماذج غير المهيكلة من تكاليف حسابية وذاكرة مرتفعة جدًا، بينما تتمتع معظم أشكال المصفوفات الانتقالية المهيكلة بكفاءة كبيرة ولكن تعاني من تعبير محدود. هنا يأتي الابتكار!

نقدم لكم نموذج Flash PD-SSM، وهو نموذج مبتكر يمزج بين الفعالية والكفاءة العالية. يعتمد هذا النموذج على مصفوفات مهيكلة ونادرة، مما يتيح اختيارات انتقائية في الوقت الحقيقي، وهو ما سيحقق التعبيرية المعادلة للنماذج غير المهيكلة مع الحفاظ على الكفاءة المطلوبة لتدريب نماذج الذكاء الاصطناعي على نطاق واسع.

تم اختبار Flash PD-SSM على مجموعة من المهام التركيبية والتعقب الزمني، ووجد أنه يحقق المعايير النظرية في التعبيرية يمكن أن يُحقق. وفيما يتعلق بالمهام الزمنية المتعددة الأبعاد التي تتضمن تسلسلات طويلة تصل إلى 17000 نقطة، أظهر Flash PD-SSM دقة لا تضاهى، محددًا مستوى جديد من الأداء المتفوق مقارنة بالنماذج المنافسة.

علاوة على ذلك، يُعتبر Flash PD-SSM بديلاً فعالًا للنماذج الهجينة من نماذج اللغة الكبيرة (LLMs)، حيث يوفر تحسينات ملحوظة في تعقب الحالة اللغوية الطبيعية وكفاءة النمذجة اللغوية. عرض النموذج زيادة في الإنتاجية وتقليل استهلاك الذاكرة مقارنة بنماذج الفضاءات الحالة المستخدمة على نطاق واسع في النماذج المتطورة.