في عالم الذكاء الاصطناعي، تظل ظاهرة 'التعميم المتأخر' (grokking) موضوعًا مثيرًا للبحث، على الرغم من الدراسات العديدة التي تناولتها. ولكن أخيرًا، قدم الباحثون في دراسة جديدة آلية شاملة لفهم هذه الظاهرة. وباستخدام نماذج خطية تم تدريبها بأساليب تحسين متقدمة، تمكنوا من تحديد مكون متميز يُدعى 'مكونات الغروك' (grokking subspace)، والتي تؤثر على كيفية تدريب النماذج الذكية.

تعتمد هذه الآلية على تقنيات مثل تحسين الوزن (weight decay) والذي يلعب دورًا محوريًا في الاستجابات البطيئة للنماذج خلال فترات الاسترخاء المتأخر. ولقد أثبتوا أن فعاليات تقنيات التحسين تلعب دورًا في التأثير على مقدار 'التعميم المتأخر'، حيث استنتجوا أن هذه الديناميكيات تؤدي إلى انخفاض تدريجي في خطر النموذج السكاني بجزء محدد من تأثيرات الانحدار.

إحدى النتائج المثيرة هنا كانت التأثيرات المختلفة لاختيار المحسن (optimizer) حيث تميَّزت تأثيرات الانحدار المتزاوج عن تلك غير المتزاوجة. وبالإضافة إلى ذلك، تم اختبار جميع الهوية النظرية بطريقة تجريبية دون الحاجة إلى تهيئة مسبقة في نموذج اصطناعي، مما أعطى مصداقية لهذه النظرية.

علاوة على ذلك، تم إثبات وجود 'تعميم متأخر' حقيقي في عقود معينة، حيث أبدت جميع النتائج توافقًا ملحوظًا مع التوقعات النظرية. هل سيغير هذا الاكتشاف من سياستنا تجاه النماذج الذكية وكيفية تدريبها؟ انضموا إلينا في النقاش!