تتمثل الفكرة الرئيسية وراء توكنات الإيقاف في إدراج توكنات خاصة داخل التسلسلات اللغوية، مما يحسن من القدرة التعبيرية الحسابية للنماذج. ورغم وجود أبحاث سابقة تستكشف تأثير هذه التوكنات، فإن القليل منها تناول ديناميات التدريب الخاصة بها بشكل عميق.
تتضمن الدراسة الحالية تجربتين مُسيطرتين تستهدفان فهم كيفية تأثير توكنات الإيقاف على عملية التدريب. في تجربة تتعلق بمهمة تعلم مستمر صناعية، تبين أن التوكنات المخفية للوقف تعيد كتابة توزيعاً متعلماً سابقاً بنحو أقل بمقدار 4 مرات، مما يشير إلى تأثير مهم على الاحتفاظ بالنماذج.
كما أظهرت تجربة أخرى في اختبار التفكير الرياضي أن التوكن القريب من الحدود يتضمن معلومات أكثر عن الخطوات اللاحقة، مما يعكس تعزيزا غير محدود للرؤية. يتم تقديم قاعدة تدريب جديدة تُعرف باسم
Masked Boundary Pause (MBP)، والتي تعتمد على وضع توكنات الإيقاف عند حدود خطوة التفكير مع إخفاء خسارتها.عبر نماذج Qwen وLlama التي تتراوح بين 1B و8B، أثبتت قاعدة MBP كفاءتها في تحسين مهارات التفكير، حيث حققت زيادة تصل إلى 6 نقاط في اختبارات الرياضيات ونقطتين ونصف في البرمجة، بينما حافظت على مهارات الفهم اللغوي بشكل عام.
تعتبر هذه النتائج تحولاً في طريقة فهمنا لتوكنات الإيقاف، حيث تُبرز دورها كوسيلة تدخل في ديناميات التدريب بدلاً من كونها مجرد أداة حسابية أثناء الاستدلال.
هل أنتم مهتمون بتطبيقات هذه التقنية في المستقبل؟ دعونا نناقش ذلك في التعليقات!