في عالم الذكاء الاصطناعي المتقدم، تُعد نماذج الـ Transformer من النماذج الأكثر تأثيرًا في تحقيق دقة عالية في مختلف التطبيقات. إلا أن التعقيد الزمني وذاكرة هذه النماذج، الذي يزداد بشكل مربع مع طول السلسلة، يعد عقبة كبيرة أمام انتشارها في التطبيقات العملية. لذلك، ظهرت آليات التركيز الخطي (Linear Attention) كحل بديل، حيث تقدم تحسينات في الكفاءة ولكنها غالبًا ما تأتي مع فقدان في الأداء.

في ظل هذه التحديات، تم تقديم نموذج DtR (Distill-then-Replace) كحل مبتكر يضمن التوازن بين الكفاءة والقدرة التوصيلية. يعتمد هذا النموذج على مفهومين رئيسيين: أولاً، يتم نقل الأوزان من وحدات التركيز الكاملة المدربة مسبقًا إلى نظيراتها من التركيز الخطي عبر عملية تُعرف بالتقطير المحلي (Blockwise Local Distillation). ثانياً، يتم تطبيق استراتيجية استبدال طبقات جشعة (Greedy Layer Replacement) التي تستبدل بشكل تدريجي الكتل المتزايدة من التركيز الكامل بأخرى خطية، مع مراقبة أداء النموذج على المهمة المستهدفة.

تقدم هذه الاستراتيجيات نموذجًا هجينًا محدد المهمة في عملية فعالة واحدة، دون الحاجة إلى إعادة تدريب مكلفة أو بحث عن الهيكل العصبي. يمكن تطبيق نموذج DtR بسهولة على أي بنية تحتية تعتمد على التركيز الكامل المدرب مسبقًا، مما يفتح آفاقًا جديدة لمهام متعددة أدناه.

ملامح هذا النموذج الجديد تمثل قفزة نوعية في تصميم نماذج الذكاء الاصطناعي، كما تعد فرصة للباحثين والمطورين للاستفادة من الكفاءة دون المساس بالجودة.