في عالم الذكاء الاصطناعي، يمثل التعلم من غير اتصال (Offline Reinforcement Learning) نقطة تحول في كيفية تدريب السياسات الفعالة من مجموعات البيانات الكبيرة التي تم جمعها سابقًا، ثم تحسينها عبر تفاعل محدود على الإنترنت. تعتبر هذه الطريقة، أو ما يُعرف بتعلم التعزيز من غير اتصال إلى اتصال (O2O-RL)، واعدة بشكل خاص في المجالات غير الثابتة حيث يكون التفاعل مكلفًا أو قد يحمل بعض المخاطر.

تتبع الأنظمة التقليدية لـ O2O-RL عمليات تدريب متعددة للسياسات المرشحة في وضع غير متصل، ثم تقييمها باستخدام التقييم غير المعتمد أو التقييم عبر الإنترنت، وأخيرًا نشر السياسة ذات أعلى قيمة تقديرية. ومع ذلك، كما في التدريب المسبق غير المتصل، فإن الأداء خلال عملية تحسين السياسة حساس للغاية لاختيار البرمجيات والمعلمات، مما يجعل من المخاطرة الالتزام بسياسة واحدة فقط.

في هذه الدراسة، استعرض الباحثون اختيار السياسة النشطة لتحسين الأداء تحت ميزانية تفاعلية محدودة. يُعد هذا العمل الأول من نوعه الذي يتناول هذه المشكلة حيث تم تعريف التحدي الأساسي على أنه التوازن بين تخصيص التفاعلات عبر الإنترنت لتقييم السياسة—الذي يساعد في تحديد السياسات عالية الأداء—وتخصيصها للتحسين—الذي يعزز أداء السياسة.

اقترح الباحثون نهجًا يوازن هذا التبادل من خلال اختيار السياسات لتحسين الأداء بناءً على الحدود العليا للثقة في أدائها المستقبلي. تم اشتقاق هذه الحدود من تنبؤات الأداء خطية محليًا تم تجهيزها بالأobservations المكتسبة من خلال التقييم عبر الإنترنت.

عبر مجموعة متنوعة من التجارب، أثبت النهج المقترح أنه يتفوق باستمرار على الأساليب التقليدية لـ O2O-RL. تشير النتائج إلى أن اختيار السياسات بنشاط وتحسينها تستخدم ميزانيات التفاعل عبر الإنترنت بشكل أكثر فعالية من الالتزام بسياسة واحدة أو تقسيم الميزانية بالتساوي بين جميع السياسات. كما يسهم هذا الإطار في تطوير التعلم غير المتصل نحو نشر عملي في أنظمة العالم الحقيقي حيث تكون التفاعلات عبر الإنترنت مكلفة أو محفوفة بالمخاطر.