في تطور مثير ضمن عالم الذكاء الاصطناعي، تم تقديم MultiHashFormer، نموذج لغوي (Language Model) جديد يعتمد على تقنية التجزئة لتحسين كفاءة المعلمات في نماذج اللغة. في السابق، كانت نماذج اللغة تعتمد على مصفوفات التضمين التي تتوسع مع حجم المفردات، مما يجعلها محدودة من حيث الكفاءة عندما يتعلق الأمر بالمعلمات.

لكن الباحثون وجدوا حلاً مبتكرًا باستخدام التجزئة، حيث يتم تمثيل العديد من الرموز في متجه فردي داخل النموذج الذي يعتمد على الترميز فقط. ومع ذلك، ونظرًا لوجود تصادمات عديدة-إلى-واحد، كان من المستحيل استخدام هذه التقنية في نماذج اللغة السببية. وبالتالي، قدم أوتّو سابك ورفاقه MultiHashFormer، الذي يتيح استخدام التجزئة في النماذج الذاتية.

تتميز تقنية MultiHashFormer بتمثيل كل رمز كتوقيع تجزئة فريد، وهو سلسلة قصيرة من معرفات التجزئة التي تنتجها عدة وظائف تجزئة مستقلة. يستخدم النموذج مشفر التجزئة (Hash Encoder) لضغط هذا التوقيع إلى متجه latent واحد لتمريره إلى شيفرة Transformer. ثم يتولى فك التشفير (Hash Decoder) مهمة إنتاج توقيع التجزئة للرمز التالي، والذي يتم بعد ذلك تحويله مرة أخرى إلى نص.

عند تقييم أدائها، أظهر MultiHashFormer أداءً متفوقًا على نماذج Transformer التقليدية عبر عدة معايير، وذلك عند استخدام معلمات بحجم 100 مليون، 1 مليار، و3 مليارات. ليس ذلك فحسب، بل إن النموذج يمكنه أيضًا التعامل مع توسيع المفردات متعددة اللغات مع بقاء معاملاته ثابتة دون أي تعديلات.

هل أنتم جاهزون لاستكشاف مستقبل نماذج اللغة التي تعتمد على التجزئة؟ تابعونا للحصول على المزيد من التحديثات المثيرة حول هذا الموضوع!