في عالم الذكاء الاصطناعي، يُعتبر تطوير النماذج اللغوية مسبقة التدريب (Pre-trained LLMs) خطوة غير مسبوقة نحو تحسين القدرات اللغوية المتاحة. بعد دراسة عميقة حول المشاكل المرتبطة بتوزيع الرموز وفقًا لأولويات معينة، استعرض باحثون تقنية جديدة تُعرف بتوسيع الرموز (Tokenizer Expansion).

في الواقع، عندما تكون مصادر التدريب قد تم تحديدها مسبقًا، فإنها تؤثر على كيفية تخصيص الرموز، مما يؤدي إلى توزيع الكلمات الأكثر استخدامًا بشكل غير متوازن. يظهر التحدي عندما تضطر اللغات الجديدة، التي تتم إضافتها لاحقًا، إلى استخدام عدد أكبر من الرموز لكل كلمة، مما يؤدي بدوره إلى زيادة التكلفة والوقت وتدهور تجربة المستخدم.

تقنية توسيع الرموز، التي تم التعريف بها مؤخرًا، تُعتبر حلاً متميزًا، حيث تعتمد على استمرارية دمج الرموز الموجودة مع استخدام بيانات متعددة اللغات، مما يضمن بقاء معظم الرموز المصدرية دون تغيير. هذا ليس كل شيء! يتم أيضًا استخدام مرونة لتكييف الشبكات العصبية لتقليل استهلاك الطاقة وزيادة سرعة فك الشفرة.

باستخدام طريقة التكيف المكونة من مرحلتين، تم تطبيق هذه التقنية على نموذج LFM2-8B-A1B، وهو نموذج مكون من 8 مليارات معلمة. ونتيجة لذلك، تمكن الباحثون من إنتاج LFM2.5-8B-A1B برمز حروف يتسع لـ 128 ألف كلمة، مما ساهم في تقليل عدد الرموز المطلوبة للغات مثل الهندية والفيتنامية.

مع هذه التطورات، يتوقع أن تصل سرعة فك الشفرة إلى مستويات قياسية جديدة مما يعد بمستقبل مشرق لتقنيات الذكاء الاصطناعي، والتي تتطلب استجابة سريعة وفعالة.