في مجال التعلم العميق، تعتبر قوانين التوسع (Scaling Laws) أحد العناصر الأساسية التي تفسر العديد من التقدمات الحديثة. ومع ذلك، لا تزال الفهم النظري لهذه القوانين محدودًا بشكل كبير لنماذج الخطية. في عملنا الجديد، نقدم تحليلًا منهجيًا لقوانين التوسع في الشبكات العصبية السطحية (Shallow Neural Networks) خاصة في نظام التعلم المميز (Feature Learning Regime).
نستفيد من العلاقات الموجودة مع تقنيات استشعار المصفوفات (Matrix Compressed Sensing) وLASSO، ونشتق رسمًا بيانيًا مفصلًا للمعاملات التوسعية لمخاطر الفائض كدالة لتعقيد العينة وتآكل الوزن (Weight Decay). يكشف هذا التحليل عن تقاطعات بين أنظمة التوسُع المختلفة وسلوكيات الاستقرار، مما يعكس الظواهر التي تم الإبلاغ عنها على نطاق واسع في الأدبيات التجريبية المتعلقة بالتوسع العصبي.
علاوة على ذلك، نؤسس رابطًا دقيقًا بين هذه الأنظمة والخصائص الطيفية (Spectral Properties) للأوزان المدربة في الشبكة، والتي نوصفها بالتفصيل. كنتيجة لذلك، نقدم تحValidًا نظريًا للملاحظات التجريبية الحديثة التي تربط نشوء الأطراف ذات القوى (Power-Law Tails) في طيف الأوزان بأداء العموم للشبكات، مما يوفر تفسيرات من المبادئ الأساسية.
قوانين التوسع في الشبكات العصبية السطحية: كيف تعزز التعلم المميز؟
تقدم دراسة جديدة تحليلًا شاملًا لقوانين التوسع في الشبكات العصبية السطحية، مما يفتح آفاقاً جديدة لفهم التعلم المميز. تبرز العلاقة بين الخصائص الطيفية والأداء العاملي للشبكات العصبية، موفرةً رؤى قيمة للممارسين.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
