في عالم ألعاب الاستراتيجية في الزمن الحقيقي (RTS)، تظهر تحديات كبيرة أمام الذكاء الاصطناعي، وذلك بسبب فضاءات الحالة والعمليات الواسعة الناتجة عن تنسيق الوحدات المتعددة في ساحات المعركة المتنوعة. حيث يواجه الذكاء الاصطناعي أيضاً مكافآت متأخرة وصعبة الاستنباط التي تعتمد على إشارات الفوز أو الخسارة النهائية.

تتمثل الصعوبة الأكبر في تحقيق توازن بين إدارة انفجار الأبعاد الناتج عن العمليات المشتركة، والحفاظ على قابلية فهم التمثيلات المعقدة للحالة. قد تتقيد الهياكل الهرمية التقليدية في تفكيك المهام إلى وحدات تكتيكية فعالة، مما يزيد من تعقيد عملية اتخاذ القرار.

مؤخراً، ظهرت مقاربة جديدة في هذا السياق، حيث اقترح باحثون إطار HRL-IM/CBS، وهو عبارة عن نظام التعلم التعزيزي الهرمي، الذي يستفيد من أساليب مثل تشفير خرائط التأثير (Influence Maps) والشيفرات المستندة إلى التجميع.

تكمن الفكرة خلف خرائط التأثير في تحويل الوضعيات العالمية في ساحة المعركة إلى رموز سداسية مدمجة، تساعد في التقاط السيطرة المكانية والميزة النسبية. كما تستخدم الشيفرات المستندة إلى التجميع لتنسيق محلي ديناميكي من خلال تقسيم الوحدات بطرق تتكيف مع المعطيات المتغيرة.

يتكون هيكل النظام من جداول متعددة Q (Multi-Q-tables) التي تعمل على تفكيك عملية اتخاذ القرار، حيث يتم اختيار الاستراتيجيات العليا لتنسيق التجمعات ثم الانتقال لتنفيذ التكتيكات في المستويات الأدنى. وبدعم من تخصيص المكافآت الذي يوفر إشارات تعلم مزدحمة، أجريت تجارب عبر ستة سيناريوهات غير متناظرة لتظهر أداءً تنافسياً مقارنة بأساليب التعلم العميق التقليدية، مع تحقيق مزايا إضافية تتعلق بالكفاءة في أخذ العينات وقابلية الفهم من خلال تمثيلات جداول Q الشفافة.

بهذا الشكل، يبدو أن التعلم التعزيزي الهرمي سيفتح آفاق جديدة لتحسين أداء الذكاء الاصطناعي في ألعاب الفيديو وغيرها من التطبيقات المعقدة. ما رأيكم في هذه التطورات؟ شاركونا في التعليقات!