تعتبر نماذج اللغات الضخمة (Diffusion Large Language Models) واحدة من أبرز التطورات في مجال الذكاء الاصطناعي، حيث تقدم طريقة مبتكرة في معالجة المعلومات من خلال نموذج تقليل الضجيج المتكرر. ومع ذلك، تواجه استراتيجيات فك التشفير الحالية تحديات كبيرة فيما يتعلق بالاستفادة من هذه الإمكانيات، حيث تركز غالبًا على تفاصيل محلية، متجاهلة الكثافة المعلوماتية المتنوعة ضمن السياق، مما يؤدي إلى تدهور جودة المخرجات.

في دراسة حديثة، تم استكشاف كيفية تحسين جودة المخرجات من خلال توجيه الانتباه إلى الرموز ذات الكثافة المعلوماتية العالية (HD tokens). وقد تم التوصل إلى نقطتين رئيسيتين: الأولى، أن الاشتراط الصريح على الرموز عالية الكثافة يحسن بشكل ملحوظ جودة النتائج، والثانية، أن هذه الرموز تميل إلى التلاقي في وقت مبكر مقارنةً بالرموز المحيطة بها.

استنادًا إلى هذه النتائج، تم اقتراح استراتيجية جديدة تحت مسمى "تركيز على الجوهر (FoCore)"، التي تعتمد على استخدام الرموز عالية الكثافة بطريقة التباين الذاتي. يتم فيها إعادة توجيه الرموز كعينات سلبية مؤقتًا، مما يساعد في توجيه عملية التوليد.

بالإضافة إلى ذلك، تم تقديم FoCore_Accelerate (FoCore_A)، وهي نسخة فعالة تعتمد على الكشف عن تلاقي الرموز عالية الكثافة. حيث تقوم بتنفيذ فك تشفير متوازي ضمن نافذة السياق المحلي، مما يزيد من سرعة التوليد بشكل كبير.

أظهرت التجارب الواسعة على معايير مثل الرياضيات، البرمجة، والمنطق أن FoCore تعزز جودة وكفاءة التوليد بشكل ثابت، كما ذُكر في تجربة على HumanEval حيث ارتفعت نسبة النجاح من 39.02% إلى 42.68% مقارنةً بالاستراتيجيات التقليدية. في حين أن FoCore-A قلل عدد خطوات فك التشفير بمعدل 2.07x، مما أسرع زمن الانتظار لكل عينة من 20.76 ثانية إلى 8.64 ثانية. هذه التطورات تمثل خطوة هائلة نحو استغلال الإمكانيات الكاملة لنماذج اللغات الضخمة.