في عالم التعلم العميق، غالبًا ما يُعتبر وجود القيعان المستوية (Flat Minima) في شكل المناظر التكرارية (Loss Landscape) مؤشرًا على قدرة الشبكات العصبية على التعميم بشكل أفضل. ولكن دراسة جديدة نشرت على موقع arXiv تكشف أن هذا الاعتقاد قد يكون مجرد وهم.

تسلط الدراسة الضوء على ظاهرة تُعرف باسم 'Minimisation Awareness Sharpness'، والتي تستخدم لتحسين التعميم في الشبكات العصبية. ومع ذلك، فإن الحفاظ على وظائف إعادة التشكيل يمكن أن يؤدي إلى تضخيم هيسيان أي حد أدنى بمقدار يصل إلى مرتين دون التأثير على التوقعات. بمعنى آخر، إذا كان بإمكاننا خلق هندسة مساحة الوزن من العدم، فلا يمكن أن تكون سببًا لأي شيء.

تكشف هذه الدراسة أن المحرك الفعلي هو الضعف، أي حجم التكميلات المتوافقة مع الوظيفة المتعلمة في لغة المتعلم. الضعف لا يتأثر بإعادة التشكيل لأنه يعرف ما تفعله الشبكة، وليس كيف يتم تشكيلها.

تُظهر البيانات المستندة إلى مجموعة بيانات MNIST أن ميزة حجم الدفعة الكبيرة في التعميم تتلاشى مع زيادة البيانات التدريبية، من 1.6% عند 2000 عينة إلى 0.02% عند 60000 عينة. هذه القيم، التي تعتمد على كمية البيانات المتاحة، لا يمكن اعتبارها أسبابًا بل عوامل مرافقة.

أظهرت التحليلات التي أجريت على 100 شبكة متطابقة في الهيكل والتدريب أن الضعف يمكن أن يتنبأ بالتعميم، بينما تتعارض الحدة مع ذلك بشكل كبير. هذا يشير إلى أن القيعان المستوية لم تكن الجواب أو الحل في تحسين أداء الشبكات العصبية. في النهاية، تتطلب المسألة فهمًا أعمق لماهية 'الضعف' ودوره في ديناميكيات التعلم العميق.