في عالم الذكاء الاصطناعي الحديث، تهيمن نماذج اللغات على الساحة، ويعتبر الهيكل القائم على التحويلات (Transformers) الأكثر انتشارًا، بفضل آليات الانتباه الذاتي التي تسهل التدريب المتوازي عبر كمية هائلة من الوثائق والسياقات. ومع ذلك، نجحت هذه النماذج في معالجة معظم البيانات، لكنها تواجه صعوبة كبيرة عند التعامل مع السياقات الطويلة.

لتجاوز هذه التحديات، تم تقديم ResonatorLM، الذي يعتمد على آلية جديدة تستبدل الانتباه بأسلوب مستمد من الفيزياء. يقوم ResonatorLM بمعالجة تسلسلات الرموز كحقل خفي أحادي الأبعاد مدفوع ويمزج بين الوظائف السببية لاهتزازات مخففة، مما يتيح له تعزيز الكفاءة بشكل ملحوظ.

عند تنفيذ ResonatorLM على بنية شبكة تقليدية واختباره على مهام نماذج السياقات الطويلة القياسية، أظهرت النتائج أن سرعة التدريب وسرعة التمهيد (prefill) تزداد مع زيادة طول التسلسل، حيث وصلت سرعة الفك (decode) إلى 6.47 مرات مقارنة مع التحويلات المثلى التقليدية عند 32,000 رمز. كما وصلت دقة الأداء إلى 61.31% بالمقارنة مع 55.32% في اختبارات WikiText.

لا شك أن ResonatorLM يمثل خطوة هامة نحو مستقبل النماذج اللغوية، ويفتح آفاقًا جديدة في معالجة البيانات الطويلة. ما رأيكم في هذا التطور المثير؟ شاركونا في التعليقات!