في عالم الذكاء الاصطناعي وتطبيقاته المتطورة، يعد تقليص نماذج اللغة الكبيرة (Large Language Models) أحد الأساليب الفعالة لتحسين الكفاءة وتقليل الأبعاد. ولكن، ترافق هذه العملية مشاكل عديدة، أعظمها تدهور النصوص، بما في ذلك تكرار العبارات وأجزاء العمل.

تتجه الأنظار الآن إلى بحث جديد يتناول هذه المشكلة من زاوية فريدة، حيث يقدم تحليلاً على مستوى الرموز (Token-Level Analysis)، ينظر إلى عملية فك الشيفرة على أنها ديناميكيات تدخل في مجموعة صغيرة من السياقات المتكررة.

يتعمق التحليل في تفكك التدهور إلى مكونين رئيسيين: خطر الدخول في حلقة التكرار ومعدل استمرارها. ومن المفاجئ أن الاستمرار في هذه الحلقات يعتمد على كتلة الهروب المخصصة للبدائل المحتملة في مجموعة عينة الرموز.

استنادًا إلى هذه النتائج، قام الباحثون بتقديم هدفين توجيهيين على مستوى الرموز خلال عملية إعادة الضبط بعد التقليص. الأول هو FOCUS، الذي يعيد وزن عملية التقطير نحو المناطق ذات الثقة العالية للمعلمين، مما يساعد على تقليل التسريبات. الثاني هو RePAIR، الذي يستخدم أزواج البداية المتكررة مع فقدان الهامش لتعزيز البدائل المحتملة ومنع الالتزام المبكر بحلقات التكرار.

أظهرت التجارب على توليد النصوص المفتوح والتعليم المبني أن كليهما يقلل بشكل مستمر من التكرار ويعزز جودة الإنتاج. بالفعل، تمثل هذه الابتكارات خطوة مهمة نحو تحسين قدرة نماذج اللغة الكبيرة وإنتاج نصوص أكثر تنوعًا وجودة.