في عالم الذكاء الاصطناعي، تأخذ نماذج اللغة الأسبوكية (Spiking Language Models) مكاناً متميزاً، حيث تكشف عن تباين في النشاط الذي لا تستغله نماذج الـ Transformer بكفاءة. في دراسة جديدة، تم التحقيق في هذا المفهوم من منظور الأنظمة.

اعتمدت هذه الدراسة على عائلة نماذج اللغة المعتمدة على إشارات (SymbolicLight V1)، حيث تم تطوير إطار عملً للقيام بعمليات الاستدلال باستخدام لغة C++ على وحدات المعالجة المركزية. يتميز هذا العمل باستخدام حالات إشارات ثنائية نادرة كنوع أساسي للتنفيذ، بدلاً من الاعتماد فقط على ضغط الوزن في مرحلة لاحقة.

تتضمن عملية الاستدلال بنية معززة تدمج عدة ميزات رئيسية مثل محمّل وزن يقوده وصف صريح، وتخطيط ذاكرة مختلط بين الصفوف والأعمدة، ونوى AVX2/FMA، وتكميم INT8 متماثل لكل قناة، وتجميع ضمن المجال الصحيح لمسارات نادرة مشروطة بالإشارات.

عند الاختبار على معالج AMD Ryzen 7 5800X، حقق أداءً متسارعًا، حيث كان نموذج FP32 البسيط يُفك ترميز بمعدل 9.5 رمزًا في الثانية. وعند استخدام التخطيط المختلط AVX2، زاد المعدل ليصل إلى 14.7 رمزًا في الثانية، بينما بلغ التقدير باستخدام AVX2 INT8 إلى 19.9 رمزًا في الثانية، مما قلل من حجم الوزن من 3.49 جيجابايت إلى 1.06 جيجابايت.

علاوة على ذلك، فإن التصدير المعتمد على 186k خطوة و874 مليون معلمة، قد حقق في الاختبار الأحادي للمعالج أداءً قدره 22.63 رمزًا في الثانية، متفوقًا على نماذج أخرى مثل TinyLlama وFalcon3 وQwen2.5. وقد أظهرت النتائج المتعلقة بالتوسع في المعالجة أداءً مذهلاً يصل إلى 47.90 رمزًا في الثانية باستخدام أربع خيوط CPU.

ومع ذلك، تأتي هذه النتائج مع تكلفة على جودة النموذج، حيث يظهر نموذج الشبكات العصبية المشبّكة (SNN) ارتفاعاً في تعقيد WikiText-2 ليصل إلى 24.80، مما يجعله أقل فعالية مقارنةً بنماذج البيانات الشاملة في نفس السياق.

تعتبر هذه الدراسة خطوة نحو فهم أفضل لنماذج اللغة الأسبوكية، مع رؤية مستقبلية في استخدام الوكلاء المحليين وأجهزة الاستشعار التي قد تستفيد من تنفيذ منخفض النوى.
كيف يمكن لنماذج اللغة الأسبوكية أن تؤثر على مستقبل الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات!