قامت الأبحاث الجديدة بتسليط الضوء على جانب مثير في الشبكات العصبية من خلال دراسة تحليل إنحناء التشفير لشبكات التغذية الأمامية المبسطة (Smooth Feed-Forward Networks). هذه الدراسة تكشف عن قناة إضافية لاستخراج النموذج الهيكلي بواسطة نموذج (Oracle) للدخل المختار والمخرجات الخالصة، مما يتيح التعرف على هياكل داخلية لا يمكن اكتشافها ببساطة من خلال التحليل السطحي.

تركز الدراسة على خلايا التغذية الأمامية الخاصة بنموذج الترانسفورمر التي تستخدم تنشيط (GELU) أو (SiLU) تحت شروط وصول دقيق الى المدخلات والمخرجات. بفضل استغلال القناة الثانية لتسرب المعلومات، تمكن الباحثون من استخدام (Hessians) المدخلة لإعادة بناء الاتجاهات المخفية للشبكة بفعالية.

أظهرت النتائج، عند العمل على مجموعة بيانات (CIFAR-10) من نماذج الترانسفورمر المستقلة، أن 16 متجهًا من الهسّيان يمكن أن يؤدي إلى استعادة دقيقة للهيكل المخفي، مع نسبة انتظام متوسطة تتجاوز 0.94. تجاوزت هذه النسبة 95.1% لمتجهات (GELU) و91.9% لمتجهات (SiLU).

تستمر هذه النسبة المرتفعة عبر مختلف النماذج المستقلة والجولات المتكررة للاستخراج، مما يوفر دعمًا قويًا لعمليات استخراج الوظائف. وإذا أُبقيت الاتجاهات المستعادة ثابتة، فإن إعادة ضبط بقية معلمات التغذية الأمامية قد توفر نماذج بديلة بدقة توافق تتجاوز 93%.

إلا أن تقنيات الضوضاء وتأثيرات الفرق بين النماذج الموزونة (Gaussian noise) قد تحد من الاستعادة تحت تكوين الهجوم الثابت، لكن التكيف عند استخدام خطوة الفرق المحدود يمكن أن يساعد في استعادة نسبة الانتظام إلى 0.9603 و0.9398.

هذا البحث يمثل نقلة نوعية في فهم كيف يمكن استخلاص الهيكل الداخلي للشبكات من خلال ملاحظات ثنائية الطور، مما يفتح الأبواب لمزيد من التطبيقات والإمكانات في مجال الذكاء الاصطناعي.