ثورة في البحث أثناء الاختبار: كيف تسهم الرموز المرتبة في تحسين النماذج التوليدية؟

تعتبر عملية التحويل إلى رموز (Tokenization) من الركائز الأساسية في نماذج التوليد الذاتية (Autoregressive Models)، حيث تُحوّل البيانات الأولية إلى وحدات أكثر قابلية للإدارة. غالبًا ما تعكس الرموز معلومات محلية، سواء كانت تخص مناطق من الصور أو قطع من الكلمات في النصوص. يعتمد التوليد الذاتي على توقع هذه الرموز بترتيب ثابت، مما يثير تساؤلاً مهمًا: هل يمكن أن تؤثر هياكل الرموز على القدرة على توجيه التوليد من خلال البحث أثناء الاختبار؟

عبر استخدام توليد الصور كمجال اختبار، نشأت فرضية مفادها أن الرموز المرتبة أحادي البعد (1D Ordered Tokens) ذات الهيكل الخشن-الدقيق تقع في موقع أفضل للدعم أثناء البحث مقارنةً بالهياكل الكلاسيكية ثنائية الأبعاد. ذلك لأن الحالات الوسيطة في التسلسلات الخشنة-الدقيقة تحمل دلالات معنى يمكن لمراجعي الجودة (Verifiers) تقييمها بشكل موثوق، مما يتيح توجيهًا فعالًا خلال عملية التوليد.

عبر تجارب مُحكمة، أوضحت النتائج أن نماذج AR التي تم تدريبها على الرموز المرتبة الخشنة-الدقيقة تُظهر سلوكًا محسّنًا في قابلية التوسيع أثناء اختبار مقارنةً بنظرائها المبنية على الشبكة. علاوةً على ذلك، كانت النتائج مثيرة للاهتمام حيث أظهرت أن البحث النقي عن الرموز (Token Sequences) خلال الاختبار، دون الحاجة إلى تدريب نموذج AR، يمكن أن يؤدي إلى توليد صور نصية-صورية عند التوجيه بناءً على مُراجع الصورة والنص.

لقد أجرينا دراسة منهجية حول كيفية تفاعل خوارزميات البحث الكلاسيكية (مثل: best-of-N و beam search و lookahead search) مع هياكل الرموز المختلفة، بالإضافة إلى دور المراجعين المختلفين والأولويات في النماذج التوليدية. تظهر نتائجنا الأثر الواضح لهيكل الرموز على قابلية التوسع عند الاستدلال، وتقدم إرشادات عملية حول كيفية تحسين قابلية التوسيع أثناء الاختبار في النماذج التوليدية.