تعتبر البرمجة الديناميكية واحدة من أكثر المنهجيات الأساسية لحل مشاكل اتخاذ القرار في بيئات ماركوف. ومن بين العوامل المختلفة في هذا السياق، يُعتبر تكرار قيم Q (Q-value iteration) مهمًا بشكل خاص نظرًا لبساطته المفاهيمية وضمان تلاقيه القائم على الانكماش التقليدي. ورغم أن هذا الانكماش يمثل خاصية مركزية، إلا أنه لا يكشف بالكامل عن الهيكل الهندسي لمسار تكرار قيم Q.

عندما يهتم الباحثون ليس فقط بالحدود النهائية للـ Q* ولكن أيضًا بوقت تحقيق السياسة الجشعة المثلى، تقدم الحجة التقليدية لانكماش فقط تمييزًا خشنًا. لتوضيح هذه الفكرة، نشير إلى مجموعة الـ Q-function المعروفة باسم مجموعة الحل الأمثل عمليًا (Practically Optimal Solution Set)، والتي يتم عن طريقها تحديد السياسات الجشعة المثلى.

تتناول هذه الورقة البحثية تكرار قيم Q المخصوم من منظور نظرية الأنظمة المتحولة، مما يسفر عن رؤى هندسية جديدة حول سلوكياته. على وجه الخصوص، يُظهر البحث أنه رغم أن تكرار قيم Q قد لا يصل عادة إلى Q* في زمن محدد، إلا أنه يمكن تحديد الفئة المثلى من الإجراءات في فترة زمنية قصيرة.

علاوة على ذلك، نثبت أن المسافة بين الحل السريع وأحد العناصر المحددة في مجموعة الـ Q* تتناقص بشكل أسي بسرعة معينة تحددها القطر الطيفي المشترك لعائلة التحويل المقيدة. يمكن أن تكون هذه السرعة أسرع بكثير من نمط الانكماش التقليدي، مما يقدم نمطين من السلوك الهندسي لتكرار قيم Q: الأول يتمثل في التقارب السريع تجاه مجموعة معينة، متبوعًا بتقارب بطيء نحو Q*.