في عالم التكنولوجيا الحديثة، يشغل تخصيص الموارد الراديوية (Radio Resource Allocation) مكانة بارزة في الشبكات المتصلة بالسيارات مثل الشبكات الخلوية للاتصالات بين السيارات (C-V2X) حيث يتوجب على المركبات مشاركة موارد الاتصال اللاسلكي المحدودة لدعم الاتصالات الحرجة للسلامة. في هذا السياق، ظهر التعلم المعزز عبر وكلاء متعددين (Multi-Agent Reinforcement Learning) كأحد الحلول الواعدة.

لكن التحديات الجوهرية المرتبطة بالتعلم المعزز عبر وكلاء متعددين، مثل عدم الاستقرار، صعوبة التنسيق، نطاق العمل الواسع، والمراقبة الجزئية، غالبًا ما تكون مترابطة، مما يصعب تقييم تأثيرها الفردي على الأداء في بيئات السير. بالإضافة لذلك، تركز الدراسات الحالية بشكل رئيسي على تطوير خوارزميات جديدة، حيث تبقى التقييمات المعيارية والتحليل المقارن محدودة.

لتجاوز هذه الفجوة، نقوم بتشكيل تخصيص الموارد في الشبكة الخلوية للسيارات كهرمية من الألعاب التنافسية بين الوكلاء المتعددين، حيث نبدأ تدريجيًا في تقديم التحديات الرئيسية للتعلم المعزز. بناءً على هذا الإطار، طورنا مجموعة من مهام التعلم المعياري وأنشأنا مجموعات تدريب واختبار مستندة إلى آثار الطريق الناتجة عن برنامج SUMO الذي يحاكي تنوع التوصيلات والشروط التداخلية للمركبات.

لقد قمنا بتقييم خوارزميات التعلم المعزز التي تمثل نماذج مختلفة مثل النماذج المعتمدة على القيم، وطرق الفاعل-الناقد، والتعلم المستقل، والتدريب المركزي مع التنفيذ اللامركزي. أظهرت النتائج أن التحدي الأكبر يكمن في تعزيز الصلابة والتعميم عبر تنوع استكمال المركبات، حيث يقلل العائد المعدل بنحو 59 نقطة مئوية. وظهر أن الطريقة الأفضل للفاعل-الناقد تتفوق على أفضل طريقة معتمدة على القيم بنسبة 42% في أكثر المهام صعوبة.

تقدم هذه الدراسة مخرجات شاملة عن نقاط القوة والحدود النسبية للخوارزميات المختلفة، مع توفير الشيفرة المصدرية، مجموعات البيانات، ومجموعة التقييمات كقاعدة منهجية وقابلة للتكرار لتعزيز خوارزميات التعلم المعزز عبر وكلاء متعددين في الشبكات المركبية.