في عالم الذكاء الاصطناعي، يتزايد الاهتمام بأساليب جديدة تُعزز من كفاءة التدريب في نماذج المحولات البصرية. فالأبحاث الأخيرة تناولت موضوع "النمو التدريجي" (Progressive Depth Growth) كإستراتيجية قادرة على تحسين أداء هذه النماذج، وذلك من خلال البدء بنماذج ضحلة ثم إدخال طبقات جديدة أثناء عملية التدريب.

تأتي هذه النتائج المثيرة في وقت يشهد فيه الذكاء الاصطناعي ثورة بفضل النماذج اللغوية الضخمة (Large Language Models) التي أظهرت فوائد كبيرة في كفاءة التدريب وأداء النتائج. ومع ذلك، كان هناك تساؤل حول كيفية تأثير "النمو" على جودة التمثيلات وأنماط الحسابات الداخلية في نماذج المحولات البصرية الذاتية الإشراف.

في هذه الدراسة، تم التحقيق بشكل ممنهج في كيفية تأثير النمو التدريجي على مجموعتين شهيرتين من نماذج المحولات، وهما المشفرات التلقائية القابلة للإخفاء (Masked Autoencoders - MAE) ونموذج DINOv3. وخلص الباحثون إلى أن النمو يحسن الأداء في المهام المختلفة ويقلل من تكاليف التدريب الهوائية بحوالي 13.9% إلى 24.8%، مما يعني تحقيق دقة تصل إلى 3.36 نقطة مئوية في اختبارات ImageNet.

علاوة على ذلك، تم التوصل إلى أن النمو لم يُحسن فقط الأداء في المهام المتدنية، بل أيضاً أعاد تشكيل أنماط الحساب الداخلية حيث لوحظت تكرارات في الانتباه العالمي والمحلي في نموذج MAE، وتقدم الانتباه من المحلي إلى العالمي بشكل مبكر في نموذج DINOv3. هذه النتائج تعزز من فهمنا لكيفية تأثير النمو على العمليات الحسابية البصرية.

باختصار، يُظهر هذا البحث أن "النمو التدريجي" يعدّ استراتيجية فعالة لتدريب نماذج المحولات البصرية، مما يسهم في تحسين الأداء مع تقليل تكاليف العمليات الحسابية. هل أبهرتكم هذه التطورات؟ شاركونا آراءكم في التعليقات!