تواجه النماذج اللغوية الكبيرة (LLMs) تحديات كبيرة في توليد مخرجات منظمة بشكل موثوق، مثل كود البرمجة والصيغة الرياضية وغيرها من التنسيقات الدقيقة. وللتغلب على هذه المشكلة، طورت التقنيات الهيكلية القياسية (Constrained Decoding) التي تسمح بتقييد المخرجات المحتملة للنموذج في كل خطوة، مما يضمن توافقها مع القواعد المعطاة.

تبحث هذه الدراسة في تقنية التشفير المتناغم مع القواعد (GCD)، حيث يجب أن تتبع مخرجات النموذج القواعد المحددة. ومع ذلك، أظهرت الأبحاث أن التقنيات التقليدية قد تؤدي إلى تشويه توزيع النتائج، مما ينتج مخرجات نحوية ولكن ذات احتمالات ليست متناسبة مع ما يقترحه النموذج، مما ينتج عنه محتوى منخفض الجودة.

لتجاوز هذه العقبة، يقدم الباحثون مفهوم التشفير المتناغم مع القواعد (GAD) ويقترحون خوارزمية العينة التكيفية مع التوقعات المستقبلية التقريبية (ASAp)، وهي خوارزمية تشفير تضمن أن تكون المخرجات نحوية وتنتج نتائج تتوافق مع توزيع الاحتمالات الخاص بالنموذج.

تستخدم خوارزمية ASAp مخرجات العينة السابقة لتقدير بنية المخرجات المستقبلية بشكل أكثر دقة. أظهرت التقييمات على مهام توليد الكود والمعالجة اللغوية الاصطناعية أن ASAp ينتج غالبًا مخرجات ذات احتمالات أعلى مقارنة بالتقنيات التقليدية، مع الحفاظ في نفس الوقت على تلبية المعايير اللغوية المطلوبة.