إعادة التفكير في توازن التشفير الزمني والحساب غير الخطي في نماذج اللغة النابضة

في عالم نماذج اللغة النابضة الحديثة، هناك تحدٍ كبير يتمثل في كيفية الجمع بين التشفير الزمني الفعال والعمليات الحسابية غير الخطية. تعمل هذه النماذج على محاولة تمثيل الميزات الدلالية المستمرة خلال فترات زمنية قصيرة، إلا أنها تواجه صعوبات في المحافظة على العمليات الحسابية المعقدة المكلفة.

لقد صمم الباحثون نظاماً جديداً يسمى Spora، الذي يتسم بدمج التشفيرات النابضة (Spike Encodings) وعوامل الانتباه (Attention Operators). ويستخدم Spora أوزانًا زمنية ثنائية (Binary Temporal Weights) تتيح لـT نبضات (Spikes) تمثيل قيم تركيبية بقدرة تصل إلى T بت، وهو ما يتجاوز بتات القارئ القائم على عدد النبضات، الذي يقتصر على O(م-log_2 T).

تتضمن تقنيات Spora استراتيجيات مثل "النابض الثنائي أحادي القطبية" (Unipolar Binary Spiking - UBS)، الذي يستخدم عتبات وتآكل متبقي مستحث بواسطة النبض لإنتاج رموز صحيحة غير سالبة. بينما "النابض الثنائي ثنائي القطبية" (Bipolar Binary Spiking - BBS) يفصل بين الإشارة والحجم، ويتعلم مقياسًا للتفعيل الموقّع.

تدعم هذه التمثيلات العملية الحسابية المعقدة مثل منتجات النقاط والتعيينات الكاملة ذات الأسس الصحيحة في الانتباه. ومع مرور أربع فترات زمنية، حقق Spora متوسط ​​درجة 76.6 في اختبار GLUE و44.1 في مؤشر MCC لـ CoLA، مما يشير إلى تحسن ملحوظ مقارنةً بنموذج SpikeLM بواقع 1.2 و6.2 نقطة على التوالي. وعند تمديد BBS إلى ست خطوات، ارتفعت هذه الدرجات إلى 78.2 و47.4.

تعد التحليلات الخاصة بالإطفاء الشرطي، والمقارنات بين تنشيط الكماشة من حيث التكلفة والقدرة، والإحصاءات المتعلقة بأحمال الأحداث، والتقييم الثابت، جزءاً من دراسة العلاقة بين دقة التشفير والتكلفة الحاسوبية. هذا التطور المذهل يعد خطوة كبيرة نحو تحسين تقنية نماذج اللغة النابضة، مما يساعد على تعزيز أداء التطبيقات المختلفة في مجالات الذكاء الاصطناعي.