تعتبر نماذج اللغة المعتمدة على بنية Transformer أحد أعظم الإنجازات في مجال الذكاء الاصطناعي، حتى أن شكلها المعماري قد حافظ على استقرار ملحوظ على مدى سنوات. لكن ماذا لو استطعنا تحسين هذا الشكل لزيادة الكفاءة والأداء؟

في البحث الجديد، يُستبدل النموذج التقليدي للشبكات العصبية المتصلة (Feed-Forward Networks) من خلال إدخال بنية مبتكرة تُعرف بـ "تحويلات الساعة الرملية" (Hourglass Transformers). تتميز هذه البنية باستخدام مكدسات فرعية من الشبكات العصبية على شكل ساعة رملية، مما يعزز مرونة النماذج مع تقليل التكاليف الحسابية.

تكمن الفكرة وراء هذا الابتكار في النظر إلى كفاءة العمق والعرض. من خلال ضغط الأبعاد المتوسطة للشبكات العصبية، يمكن تحقيق حالات مخفية أوسع مع عدد أقل من الطبقات، وهو ما يؤدي بدوره إلى تحسين الأداء العام للنماذج.

في تجارب أجريت على نماذج تتراوح من 113 مليون إلى 8 مليار معاملة، أثبتت تحويلات الساعة الرملية قدرتها على تحقيق أداء مشابه لنماذج Transformers التقليدية، مع تحسين كفاءة التدريب بنسبة تقدر بـ 8.7%. وعلاوة على ذلك، في سياق تقديم معلومات أطول، أسفرت النماذج الجديدة عن تقليل متطلبات الذاكرة وزيادة السرعة في فك تشفير الرموز، مما يجعلها خياراً عملياً للتصميمات التي تتطلب كفاءة عالية.

مع هذه النتائج، يبدو أن الهياكل على شكل ساعة رملية توفر خياراً جديداً لزيادة فعالية نماذج Transformer لمواكبة متطلبات العصر.