في عالم الذكاء الاصطناعي، تُعتبر الطبقات المبكرة لنماذج الشبكات العصبية، خصوصاً نماذج المدخلات المنعزلة (INRs)، حجر الزاوية لتسريع وتحسين عملية نمذجة الإشارات.

من خلال دراسات جديدة، تمكن الباحثون من تحليل أي من هذه الطبقات يجب تجميدها للحصول على أفضل أداء. وللإجابة عن هذا السؤال، تم دراسة طبقتين رئيسيتين في النماذج القياسية، وهما نموذج SIREN وFFMLP (نموذج متعدد الطبقات بالمزايا الفورية).

أظهرت النتائج أن أفضل عمق لتجميد الطبقات يتوافق مع الطبقة التي تتمتع بأعلى استقرار في الوزن. علاوة على ذلك، فإن عملية التجميد في هذا العمق تجلب نتائج مشابهة أو حتى أفضل مقارنة بأسلوب التدريب الدقيق التقليدي، مما يوحي بأهمية هذه الطبقات المبكرة.

لمعرفة خصائص تلك الطبقات المتجمدة، تم استخدام آلات الترميز التلقائي النادرة (SAEs) التي تسمح بالتفسير الميكانيكي لنشاطات INRs. وقد تم تقديم أول تحليل ينفصل إلى عناصر قاموسية نادرة. وظهر أن نماذج SIREN وFFMLP تحقق جودة تلائم مثالية، لكنهما تتعاملان مع القواميس بشكل مختلف. حيث تتميز عناصر Cohort SIREN بالتشتيت، مما يُعطي مرتكزات مكانية لكل عنصر، في حين أن عناصر FFMLP تمتد عبر الصور، لتتبع ملامح الإشارات المأخوذة.

أثبتت التجارب أن إزالة عنصر واحد فقط من الـ FFMLP يمكن أن تُخفض من جودة الصور بنسبة تصل إلى 10.6 ديسيبل، بينما العناصر في SIREN تبقى محصورة في المواقع التي ينشط فيها العنصر فقط.

بالمجمل، توفر هذه النتائج فهماً عميقاً للخصائص الإشارية لنماذج INRs المدربة، وتشير إلى طرق جديدة لتطوير نماذج متقدمة تركز على التعميم بدلاً من مجرد الحفظ.