تعاني النماذج اللغوية المدربة مسبقًا (LLMs) من قيود كبيرة نتيجة للاعتماد على أنظمة التوكنات الثابتة، مما يؤدي إلى كفاءات غير مثلى وحدود في الأداء، خاصة في التطبيقات متعددة اللغات أو المتخصصة. هذه القيود تمثل تحديات كبيرة، حيث أن الوسائل التقليدية لتحسين الأمور غالبًا ما تتطلب موارد حسابية مكلفة.

تسعى العديد من الأساليب كتحسين استبدال التوكن بأنظمة مرنة إلى تخفيف العبء، إلا أن الطرق الحالية تتطلب عادة جهدًا هائلًا في ضبط دقيق للإعدادات، وقد لا تحافظ بالكامل على المعاني أو تعالج المشاكل الأساسية لنقص الكفاءة.

ولمعالجة هذه القضايا، يقدم هذا الإطار مجموعة من الابتكارات. أولها هو "توكندابت" (Tokenadapt) - طريقة زراعة التوكنات غير المعتمدة على نموذج محدد. الوثانية هي التعلم المسبق للتوكنات المتعددة الكلمات (Supertokens) التي تعزز من ضغط البيانات وتقلل من التجزئة.

تقوم توكندابت بتهيئة تمثيلات توكنات فريدة جديدة عن طريق استخدام خليط من أساليب heuristics، تتضمن تقديرًا محليًا يعتمد على تحليل الكلمات الفرعية باستخدام التوكن القديم، وتقديرًا عالميًا يستفيد من أفضل التوكنات المتشابهة من القاموس الأصلي. وتهدف هذه المنهجية إلى الحفاظ على المعاني مع تقليل احتياجات إعادة التدريب.

التحقيقات التجريبية أثبتت فعالية الابتكارات المقدمة: حيث نجحت heuristics في تهيئة توكنات فريدة، متفوقة بشكل واضح على الأساليب التقليدية والبازلينات المتطورة مثل ترانستوكينايزر (Transtokenizer) وريتوك (ReTok). كذلك، تحققت تحسينات ملحوظة في الضغط من خلال توكنات Supertokens.

تظهر نتائج الانحراف الصفري (zero-shot perplexity) أن تهيئة توكندابت المختلطة أثبتت باستمرار نسب انحراف أقل مقارنةً بكل من ReTok وTransTokenizer عبر نماذج مختلفة من النماذج الأساسية وأهداف توكنات جديدة تم تدريبها.