في خطوة جريئة نحو مستقبل النماذج اللغوية، تم الكشف عن بنية Wiola الجديدة، التي تم تطويرها من أساسيات الصياغة الجديدة، دون أن تتشابه مع أي من النماذج الموجودة مثل GPT أو LLaMA. تجمع Wiola بين خمسة مكونات رئيسية تعمل على تحسين الأداء والكفاءة بشكل لافت.

تركز الفكرة الأساس على

1. **ترميز المواقع الحلزوني الدائري (Spiral Rotary Positional Encoding - SRPE)**: يدمج هذا المكون مواقع الرموز في مساحة ثلاثية الأبعاد، مما يعزز من الإشارات المطلقة والنسبية.
2. **الاهتمام المتصل بين الطبقات (Gated Cross-Layer Attention - GCLA)**: يسمح لكل طبقة من طبقات الموديل بالوصول بأسلوب مرن إلى ملخصات مضغوطة من الطبقات التي تسبقها، مما يعزز من التناسق والتحكم.
3. **دمج الرموز التكييفي (Adaptive Token Merging - ATM)**: يقوم بدمج الرموز الأساسية المتحاذية بشكل ديناميكي في الطبقات الوسطى، مما يقلل من تعقيد الاهتمام دون فقدان المعلومات.
4. **المسار المزدوج للتغذية الأمامية (Dual Stream Feed-Forward - DSFF)**: يستبدل آلية التغذية الأمامية التقليدية بتدفقين متوازيين، مما يوفر أداءً محسنًا.
5. **تطبيع WiolaRMSNorm**: يقدم تعديلاً يأخذ في الاعتبار متغيرات محلية لكل بعد، مما يمنع انهيار التمثيل.

تُقدم Wiola في أربع أحجام مختلفة (120M، 360M، 700M، و1.5B معلمات) وهي متوافقة تمامًا مع نظام HuggingFace Transformers، وقد اجتازت جميع الاختبارات المعمارية المقررة بنجاح. مع هذه المميزات الفائقة، تُعد Wiola بداية جديدة للذكاء الاصطناعي وتطبيقاته.

هل تعتقد أن بنية Wiola ستشكل ثورة في كيفية استخدامنا للنماذج اللغوية؟ شاركونا آراءكم في التعليقات!