في عالم تطبيقات التعلم المعزز، لا تزال تحديات مثل فقدان الإطارات بسبب التأخيرات في الاتصال أو الأعطال في أجهزة الاستشعار قائمة تؤثر سلبًا على أداء النظام. عند فقدان الإطارات، يصبح من المستحيل على الوكيل (Agent) تلقي الحالات (States) والمكافآت (Rewards) المرتبطة بها، مما يؤدي إلى انتكاسات في الأداء. لهذا السبب، تم تطوير نموذج Decision Transformer تحت إطار فقدان الإطارات المعروف باسم DeFog، والذي يستخدم آليات إضافية للتقليل من تأثير فقدان الإطارات.

لكن، يواجه DeFog تحديات في التعميم على الحالات الجديدة التي لم يتم تمثيلها بشكل كافٍ في مجموعة البيانات التدريبية، كونه يعتمد على التعلم غير المتصل (Offline Learning). في سعينا لإيجاد حل أكثر فعالية، نقدم OnDeFog، الذي يدمج بين آليات DeFog ونموذج التعلم المعزز عبر الإنترنت (Online Decision Transformer - ODT).

يتميز OnDeFog بقدرته على التعلم من خلال التفاعل المباشر مع البيئة، مما يتيح له مواجهة فقدانات الإطارات بفعالية أكبر. وقد أثبتت التجارب الشاملة أن OnDeFog يتفوق على ODT في البيئات ذات معدلات فقدان إطارات مرتفعة، ويتفوق أيضًا على DeFog في مجموعات البيانات التي تحتوي على كميات كبيرة من المكافآت المنخفضة.

إن الابتكارات في مجالات الذكاء الاصطناعي والتعليم الآلي ليست فقط مثيرة، بل تمثل أيضًا خطوات هامة نحو بناء أنظمة قادرة على واجه التحديات الحقيقية بشكل أفضل. فكيف ترى مستقبل الذكاء الاصطناعي في ظل هذه التطورات؟ شاركونا آراءكم في التعليقات!