في عصر الذكاء الاصطناعي المتقدم، يُعد تقييم السياسات الخارجية (Off-Policy Evaluation) حجر الزاوية في تحسين أنظمة التوصية. تُتيح لنا هذه العملية تخمين قيمة سياسة علاجية معينة (مثل نظام توصية) باستخدام بيانات تم جمعها بواسطة سياسة تسجيل أخرى. ولكن، ما هي العلاقة بين جودة البيانات وسلامة النتائج؟

تكمن التحديات الرئيسية في الحصول على دقة عالية أثناء التقييم. فقد أظهرت الأبحاث أن دقة التقييم تعتمد بشكل كبير على سياسة التسجيل المستخدمة لجمع البيانات. لذلك، يُعد تصميم سياسات التسجيل (Logging Policies) المناسبة خطوة حاسمة تُسهم في تقليل أخطاء التقييم.

درسنا كيفية تصميم هذه السياسات لتقليل خطأ تقييم الأداء الخارجي، ووجدنا وجود تعادل أساسي بين المكافآت والتغطية. تركيز الاحتمالات على أفعال ذات مكافآت عالية يقلل من التباين، لكنه يعرضنا لخطر فقدان المعلومات حول الأفعال التي قد تتخذها السياسة المستهدفة.

من خلال تقديم إطار عمل شامل لتصميم سياسات التسجيل، نستعرض كيفية اشتقاق سياسات مثالية في بيئات معلوماتية معيارية حيث تكون سياسة العلاج وتوزيع المكافآت إما معروفة أو غير معروفة. توفر نتائجنا توجيهات عملية للشركات التي تختار بين أنظمة توصي بها.

أظهرنا أيضًا أهمية اختيار العلاج عند جمع البيانات للتقييم الخارجي، ووصفنا طرقا مثالية نظريًا عندما يكون هذا هو الهدف الرئيسي للشركة. بالإضافة إلى ذلك، استخلصنا مبادئ تصميم عملية لاختيار سياسات التسجيل عندما تمنع القيود التشغيلية تنفيذ التحسين النظري.

هذا البحث يفتح آفاقًا جديدة لفهم كيفية تحسين دقة تقييم أنظمة الذكاء الاصطناعي، مما يساعد الشركات في اتخاذ قرارات أكثر استنارة قائمة على بيانات دقيقة.