ثورة في تعلم التعزيز: كيف تتشكل الشبكات العصبية العشوائية لتصبح فعالة رغم التجمد!

في عالم تعلم التعزيز العميق (Deep Reinforcement Learning)، ظهرت ظاهرة جديدة وغير متوقعة تتعلق بتطور الوكلاء المدربين باستخدام شبكات عصبونية ملتقطات ميزات متجمدة وعشوائية. بالرغم من أن هذه الشبكات لم تكن تخضع لأي هدف يفرض الندرة (Sparsity)، إلا أنها استطاعت أن تطور تمثيلات متصلة تقلل من عدد العصبونات المستخدمة في طبقاتها الأولى بشكلٍ مذهل، بحيث أصبحت تعتمد على 1-3 عصبونات فقط من أصل 64 في لعبة Pong.

تظهر النتائج الأولية أربع استنتاجات رئيسية:
1. يُظهر مستوى الندرة في الطبقة الأولى (FC1) ارتباطًا وثيقًا تعقيد المهمة، حيث استخدم الوكلاء في Pong 1-11 عصبونات بينما استخدموا 19-26 في لعبة Breakout و42 في Space Invaders.

2. نشهد تباينًا في الأعمال داخل نفس اللعبة؛ حيث أنتج ثلاثة وكلاء من Pong عددًا متباينًا من العصبونات النشطة (5، 7، 11). الوكيل الذي استخدم 5 عصبونات بلغ مرحلة مُلائمة بمعدل مكافآت +14، بينما الآخرين وصلوا إلى أداء خبير (+18.4 و +18.7)، مما يشير إلى أن الأبعاد القابلة للاستخدام في التمثيل العشوائي تحدد الأداء القابل للتحقيق.

3. تؤكد نتائج الاستبعاد أن إزالة العصبونات النشطة تتسبب في هبوط كبير في الأداء عبر implementations متعددة لنموذج PPO وألعاب مختلفة.

4. يعكس عنق الزجاجة المعلوماتي التزامًا مبكرًا، حيث يتم قفل المجموعة النشطة خلال 15-30 مليون خطوة، بينما يتجاوز معدل المكافأة الإيجابي بعد 35-105 مليون خطوة لاحقًا.

واحدة من النتائج الإضافية في لعبة Breakout تظهر أن الوكلاء المجمدين والقابلين للتدريب يحققون مكافآت تنافسية بطرق بنيوية مختلفة، حيث يستخدم الوكلاء المجمدون 17-25 عصبونًا نشطًا، بينما يستخدم الوكلاء القابلون للتدريب 51 عصبونًا.

بإجمال، يُظهر هذا البحث كيف يمكن أن تكشف التدرجات الفعالة في الهندسة العشوائية عن الت رتبة الفعالة للمشكلة الأساسية دون الحاجة إلى آليات ندرة واضحة.