تسعى تقنيات تعلم التعزيز متعدد الأهداف (Multi-objective Reinforcement Learning - MORL) إلى تدريب وكلاء قادرين على تحقيق توازن بين أهداف متضاربة. ومع ذلك، تُظهر الأساليب الحالية أنها تتمتع بهشاشة في الأداء، وغالبًا ما تفشل في استعادة الجبهات الكثيفة من Pareto.
في ورقة بحثية جديدة، تم تسليط الضوء على أن هذه الإخفاقات تنشأ من مشكلتين هيكليتين: إلغاء المزايا المدمر بسبب عملية التسريع المبكر (Early Scalarization - ES)، والانه collaps على مستوى التمثيل عبر مساحة التفضيل.
لتجاوز هذه العقبات، تم تقديم إطار العمل D^3PO، المستند إلى تقنيات PPO، والذي يعيد تنظيم تحسين الأهداف المتعددة بشكل جذري. من خلال الحفاظ على إشارات التعلم لكل هدف عبر خط أنابيب مفكك، ودمج التفضيلات بعد استقرار منطقة الثقة (Late-Stage Weighting)، يساهم D^3PO في تحسين توزيع الفوائد تحت أهداف متضاربة.
وبالتوازي، يُشجع منتظم التنوع المقياس السلوكي على الانحراف بشكل متناسب مع المسافة بين التفضيلات. يعمل D^3PO بالكامل ضمن نظام التسريع الخطي الفعال الذي تتشارك فيه الأسس التقليدية لتعلم التعزيز متعدد الأهداف، مما يقلل من فقدان المعلومات الناتج عن التسريع الخطي بدلاً من الاعتماد على وظائف المنفعة غير الخطية المكلفة.
وعبر اختبارات معيارية متاحة، بما في ذلك البيئات عالية الأبعاد والمهام المتعددة الأهداف، يكتشف D^3PO باستمرار جبهات Pareto أوسع وأعلى جودة مقارنة بالأساليب السابقة، متجاوزًا العوائد الحكومية والتوقعات باستخدام استراتيجية منفردة قابلة للتطبيق.