تعزيز تصميمات الفوتونيكس: كيف يغير التعلم المعزز القائم على القيمة قواعد اللعبة؟

في عالم تصميم الأجهزة الفوتونية، لا تُعتبر كل محاكاة متساوية. تعكس التطورات الأخيرة في مجال التعلم المعزز القائم على القيمة (Value-Based Reinforcement Learning) أهمية حاسمة في تحسين تصميمات الليزر. تعتبر أجهزة الليزر ذات الانبعاث السطحي من بلورات الفوتون (Photonic-crystal surface-emitting lasers - PCSELs) مثالًا مثيرًا للاهتمام، حيث تجمع بين القدرة التشغيلية العالية والانبعاث الموجه بزاوية ضيقة، لكن优化 المعلمات المرتبطة بها يتطلب محاكاة كاملة مكلفة.

تكمن قوة التقنيات المعتمدة على الشبكات العصبية العميقة، مثل شبكة Dueling Q (DQN)، في قدرتها على إعادة استخدام الانتقالات المحاكاة لتوجيه التعديلات وتحسين التصميمات. ولكن، ما هي الآليات القيمية التي تظل موثوقة عند التعامل مع ميزانيات محاكاة محدودة؟

لإجابة هذا السؤال، تمت مقارنة الشبكة الأساسية DQN مع ستة نماذج بديلة قائمة على القيمة في تصميم PCSEL مكون من سبع متغيرات. تم تنفيذ التجارب تحت أهداف مشتركة وميزانية لتجربة 83 مكالمة، مع أربع بدايات متطابقة. أدت هذه الدراسة إلى فهم أعمق لكفاءة العينة وسلوك السياسة والاستجابة الفيزيائية، مما ساعدنا في فصل المكاسب الناتجة عن بدايات موفقة أو القفزات الاستكشافية.

ومن بين جميع الموديلات، كانت Dueling DQN هي الوحيدة التي حسنت النتائج عبر جميع البذور الأربعة، حيث زادت عامل الجودة المتوسط (Quality Factor) بشكل ملحوظ، خافضةً خطأ الطول الموجي بنسبة 64% وزيادة القدرة على الصعود بنسبة 47%. مقارنةً بالتصاميم الأولى التي تم تقييمها، أظهرت هذه التصميمات الجديدة تحقيق متوسط أعلى بنفس الميزانية. من جهة أخرى، لم تحقق النماذج الأخرى تحسينات ثابتة، حيث كانت نتائج Double DQN تكرر مسارات النموذج الأساسي، بينما أظهرت Rainbow-lite قابلية نجاح مرتفعة ولكن اعتمادًا قويًا على البذور.

اختير Dueling DQN كأكثر تكوين موثوق تم اختباره لتصميم PCSEL المحدود بميزانية المحاكاة، مما يوفر إطارًا يمكن تكراره لترتيب المكاسب الخوارزمية في تحسين العلوم. يمكن الوصول إلى الكود المصدري متاح للعامة عبر GitHub.