تعد نماذج اللغة الضخمة (Large Language Models) مثل RoBERTa من الأدوات الرائدة التي تسهم في فهم كيفية بناء المعاني الخاصة لكل جملة بشكل ديناميكي. يعتمد هذا البحث على تقنيات التحويل (Transformers) التي تتيح إمكانية تغيير تمثيل الكلمات اعتمادًا على السياق المحيط بها.

من خلال إنشاء مسارات تدريجية للكلمات، يقوم الباحثون بإعادة حساب تمثيل الكلمات بناءً على الكلمات المتعاقبة في الجملة، مشكّلين بذلك إطارًا لفهم التغيرات في المعاني مع تطور الحديث. هذا النهج تم تقييمه باستخدام جمل زراعية (garden-path sentences) التي تتميز بمميزات معينة معروفة في معالجة اللغة.

تشير النتائج إلى أن هذه المسارات تُظهر سمات معروفة تتعلق بمعالجة الجمل الزراعية، بما في ذلك الت disruptions في منطقة حيوية واحدة وتساعد في تمييز الجمل الزراعية عن الجمل المناسبة الأخرى. كما تم تقديم عدة معايير لقياس تغيّر التمثيل عبر السياقات المختلفة، مما يُظهر أن المعلومات المتعلقة بالغموض يمكن استردادها من كل من تمثيل الجملة العام ورموز الكلمات العادية.

علاوة على ذلك، توصل الباحثون إلى أن المعلومات الموزعة على مستويات تمثيلية متعددة تعكس نفس الهياكل المجرّدة في ظواهر لغوية أخرى تتعلق بالغموض والالتباس. إن هذه النتائج تضع مسارات الكلمات التدريجية كإطار مرجع واعد لدراسة عملية بناء المعاني الخاصة بالجمل باستخدام نماذج اللغة الضخمة.