في عصر الذكاء الاصطناعي، أصبحت نماذج اللغة (Language Models) عنصراً محورياً في توليد التوصيات الدقيقة. وقد كشفت دراسة جديدة على arXiv عن أهمية تهيئة الرموز الجديدة عند توسيع المفردات الخاصة بالنماذج اللغوية، حيث يعد ذلك خطوة فاصلة في تحسين الأداء.

تقليدياً، يتم تهيئة الرموز الجديدة باستخدام متوسط تمثيلات المفردات المتاحة، ثم يتم الاعتماد على تقنيات التعلم تحت الإشراف لتحسين التعرف على هذه الرموز. لكن الدراسة الحالية تُظهر أن هذه الاستراتيجية تؤدي إلى فقدان التمييز بين الرموز الجديدة، مما يعقد عملية التعلم اللاحق.

هنا تبرز فرضية Grounded Token Initialization، حيث يظهر البحث أن ربط الرموز الجديدة بالمكانات الدلالية في الفضاء المسبق التدريب يعزز من قدرة النموذج على الاستفادة من المعرفة العامة لتلك الرموز.

واستخدم الباحثون استراتيجية GTI (Grounded Token Initialization) كمرحلة تمهيدية، حيث يتم الحصول على مواقع متميزة للرموز الجديدة في الفضاء المسبق التدريب بشكل خفيف، مما يعمل على تحسين تهيئة النموذج قبل مرحلة التعلم. وقد أثبتت النتائج أن GTI يتفوق على الاستراتيجيات التقليدية، مما يدل على أن جودة التهيئة تلعب دوراً حاسماً في تمديد المفردات.

باختصار، تشير النتائج إلى أن تحسين كيفية تهيئة الرموز الجديدة يعد من أهم العوامل لدعم فاعلية نماذج اللغة والجديد في التوصيات الجيلية. مع تطور هذه الاستراتيجية، يبدو أن الطريق ممهد لمزيد من الابتكارات في عالم الذكاء الاصطناعي!