تشكل مسألة اختيار الرموز (tokens) التي يجب تعتيمها عنصراً محورياً في تصميم نماذج اللغة المعتمدة على التعتيم، لكن هذا الجانب لا يحظى بالاهتمام الكافي في الأبحاث الحالية. بينما تعتمد طرق التدريب التقليدية على تعتيم الرموز بشكل عشوائي، تشير الدراسات إلى أن اختيار أهداف تعتيم الأكثر فائدة يمكن أن يزود أداء النموذج في المهام المستقبلية.

مؤخراً، قدم فريق بحثي استراتيجية جديدة تدعى Typhoon، التي تتبنى نهجاً تكيفياً في تعتيم الرموز بناءً على التدرجات الناتجة عن خسائر المهمة. تعتمد هذه الاستراتيجية على تحليل كيفية مساهمة كل نوع من الرموز في تحقيق الهدف المطلوب، حيث تحافظ Typhoon على متوسط متحرك أسي لإبراز كل نوع من الرموز.

الاستراتيجية الجديدة لا تكتفي بتعزيز فعالية التعتيم، بل تسعى أيضاً لتخفيض نسبة التعتيم وفق ميزانية محددة، مما يجعل Typhoon في قلب عملية ضبط التدريب.

بينما تم تقييم Typhoon ضد أساليب مثل التعتيم العشوائي والتعتيم على الكلمات الكاملة في مهام مثل MRPC وCoLA باستخدام ثلاثة نماذج من عائلة BERT (TinyBERT، DistilBERT، وBERT-base)، لم تجد النتائج تفوقاً ملحوظاً لتقنية Typhoon على غيرها من الأساليب.

ما يشير إليه البحث هو أن استراتيجيات التعزيز القائمة على التدرجات ليست دائماً متفوقة على أساليب التعتيم التقليدية. بدلاً من ذلك، يمكن اعتبار ذلك نتاجاً يسلط الضوء على ضرورة إعادة تقييم طرق التعلم المتاحة حالياً والتأكيد على أهمية التكرار والمصداقية في الأبحاث.

في الختام، تقدم Typhoon قاعدة قوية لأبحاث مستقبلية، مما يفتح المجال أمام تحسينات جديدة في نموذج اللغة المدربة مسبقاً. فهل برأيك ستساهم هذه الاستراتيجية في تحسين الأداء؟