في عالم الذكاء الاصطناعي، تُعتبر وكالات استخدام الأدوات (Tool-using agents) من أفضل الابتكارات التي تساعد على تحسين عمليات اتخاذ القرار. مع التطورات المستمرة في البيانات التفاعلية، تبرز الحاجة إلى تحديث رصيد الإجراءات (Action Credit) بشكل متكرر. ولكن، تساءل العلماء: متى يكون من الضروري تحديث هذا الرصيد؟

تشير الدراسة الجديدة إلى أن التغير في قيمة الإجراء لا يعني بالضرورة تغيير القرار المتخذ. فكمية التغير الناتجة عن السياسة يمكن أن تبقى غير مؤثرة طالما أنَّ الانجراف الناتج (Policy-Induced Drift) صغيراً جداً. وبالتالي، فإنه من الممكن الاستفادة من الأرصدة التاريخية مادام الترتيب الحالي للإجراءات لا يتأثر بشكل ملحوظ.

من خلال بناء أفكار جديدة، قدم الباحثون تقنية تُعرف بالحساسية الفرعية الزوجية (Pairwise Branch Sensitivity) التي تقيس تأثير تحديث السياسة على مناطق القرار التي تميز بين الإجرائين. كما تم تطوير مُقدّر نقل الرصيد المعتمد على الترتيب الأول (First-Order Anchored Credit-Transport Estimator) والذي يُحدِّث الرصيد التاريخي باستخدام البيانات القديمة الناتجة عن التجارب السابقة.

تشتمل الدراسة أيضاً على تطوير بوابة رصيد كافية قرارياً (Decision-Sufficient Credit Gate - DSC-Gate) التي تحدد ما إذا كان يجب إعادة استخدام الرصيد أو نقله أو إعادة أخذ عينات منه. أظهرت التجارب أن الحساسية الفرعية تفسر الانحراف في الرصيد بشكل أفضل بكثير من المسافة العالمية بين السياسات. ومع توفر بيانات تاريخية كافية، تعمل تقنية نقل الرصيد على تقليل خطأ التقدير، بينما تتوزع فوائدها على التحديثات التي تؤثر بشكل كبير في الفروع المميزة للإجراءات.

في اختبار مستقل، أدت تغييرات DSC-Gate إلى تعديل بسيط قدره +0.00004 في متوسط الندم، مع تقليل متوسط خطوات استخدام الأدوات الجديدة من 472 إلى 286، مما يمثل انخفاضاً بنسبة 39.4%. تكشف النتائج الإجمالية أن الوكلاء لا يحتاجون إلى إعادة حساب رصيد الإجراءات بعد كل تحديث للسياسات، مما يسهل بشكل كبير العمليات ويخفض التكاليف الإضافية اللازمة للحفاظ على تحديث القرارات.