في عالم الذكاء الاصطناعي، يعد فهم كيفية عمل النماذج اللغوية (Language Models) ومعالجة البيانات من الأمور الأساسية التي تؤثر على نتائج هذه النماذج. قد تمحورت معظم الدراسات حول قضايا التفسير المكني للنماذج، إلا أن هناك مساحة أقل دراسة حول كيفية تمثيل هذه النماذج للديناميات العشوائية (Stochastic Dynamics) تحت ظروف ملاحظة جزئية.

تتناول دراستنا الأخيرة السؤال المهم حول إمكانية تمثيل النماذج بعوامل التقلبات العشوائية في بيئة تمثل مقياسًا لمدى قدرتها على التفسير الفوري. حيث تم إجراء التجارب في إعداد متعدد المتغيرات يتسم بتقلبات عشوائية، حيث تراقب النماذج العوائد بينما تتوفر حالة التقلبات الحقيقية للباحث فقط. هذا الإعداد يقدم مرجعية هامة للتفسير المكني تحت الملاحظة الجزئية.

على مدار التجارب، أظهرنا وجود حساب من مرحلتين داخل هذه النماذج. حيث يتضمن التمثيل الخفي معلومات هائلة حول حالة التقلبات المحتملة القادمة، ويقوم رأس الإخراج (Output Head) بتحويل هذا التمثيل إلى توقعات للعائدات المربعة.

علاوة على ذلك، في نماذج Transformer، يظهر قابلية فك شفرة الحالة الخفية (Latent-State Decodability) في مراحل معمارية محددة، والتي تعتمد بدورها على فترة التقلبات. في حالات الدورة الطويلة، يتبسط هذا الحساب إلى فلتر حالات خفية صريح يتألف من إسقاط خطي متعلم متبوع بتطبيع (Normalization) من الدرجة الثانية.

تظهر أيضًا نتائج تغيير رأس الإخراج أن جزءًا من التدهور تحت تدريب MSE الضبابي ينشأ من عدم تطابق القراءة بدلاً من فشل التمثيل.

تشير نتائج هذه الدراسة إلى أن نماذج التقلبات العشوائية تقدم مرجعية مفيدة لفهم التفسير المكني تحت الديناميات الخفية الضبابية والملاحظات الجزئية.