في عالم الذكاء الاصطناعي، تبرز الأبحاث كالشمس في ليلة معتمة، مؤديةً إلى نتائج مثيرة للاهتمام حول طبيعة المعلمات في نماذج التحويل، مثل نماذج اللغة الكبيرة (Large Language Models) وأيضًا نماذج الجينوم. أظهرت نتائج جديدة كيفية تأثير مجموعة صغيرة من المعلمات ذات الكسب العالي بشكل غير متناسب على أداء هذه النماذج، لكن هل ينطبق نفس المفهوم على النماذج الجينية؟

تهدف الدراسة إلى تحليل صفوف البوابات العالية الكسب (gated feed-forward networks) في نماذج التحويل والنماذج الجينية، باستخدام 22 نموذجًا ثابتًا لدراسة تأثير الهيكلية على الأداء الوظيفي. من خلال حساب عامل الوزن الثنائي بدقة، تمكن الباحثون من تقييم مدى إمكانية نقل الهيكلية إلى نماذج أخرى.

تظهر النتائج أن候ام المعدلات العالية كانت فعّالة في إشارات التفعيل، بينما غابت الروابط بين التركيز الطيفي وحجم المشغل مع حجم التأثير السببي، مما يشير إلى التعقيد الذي يكتنف هذه الظواهر. فرضت الدراسة أيضًا إطار عمل لفحص كيف يمكن أن تؤثر المعلمات الهيكلية على قدرة النموذج على التعامل مع الإشارات المعقدة.

فقد أظهرت النتائج أيضًا وجود تفاعلات فوق جمعوية (super-additive) في نموذج DNABERT-2، بينما أشارت إلى اعتماد محلي في نموذج GENERator، حيث أدى الحفاظ على مساهمة البداية في تسلسل الصف إلى إنقاذ الأضرار الناجمة.

بالتالي، يُعتبر وجود صفوف البوابات العالية الكسب ثراءً هيكليًا، ومع ذلك لا يمكن اعتبار ذلك مقياسًا حاسمًا للأهمية الوظيفية. فالأهمية قد تكون عامة، لكن الآلية لا بد أن تكون محددة بالنموذج الأم.