في خطوة جديدة نحو تعزيز تقنية الذكاء الاصطناعي، تم تقديم دراسة مثيرة حول مشفرات التمثيل الذاتية (Representation Autoencoders - RAEs) وكيف تُحسن من نماذج الانتشار والانسياب عبر خلق فضاءات latent أكثر غنى ودقة بفضل الميزات المدروسة والقائمة على التصنيفات (DINO).

ومع ذلك، تكشف الدراسة أن مرحلة التقطير (distillation) قد تواجه تحديات خطيرة بسبب الأنيسوتروبي (anisotropy) والانحناءات الكبيرة الناتجة عن التمثيلات الدلالية الغنية. هذه العوامل قد تعرقل تقارب النموذج وأداءه، مما يجعل عملية التقطير القائمة على المسارات غير مستقرة.

لذلك، اقترح الباحثون أن فضاء RAE يمكن أن يكون متوافقًا مع التقطير باستخدام نماذج جديدة تدعى نماذج التحويل المتدحرجة (Drifting Models). قامت الدراسة بدراسة كمية واضحة للانحناءات وإحصائيات الأنيسوتروبي عبر مجموعة من المشفرات، وكشفت عن وجود احتمالية عالية لفشل نموذج Drifting نفسه في البيئات المتشتتة بشدة مثل نماذج VAE المعتمدة على إعادة البناء.

بناءً على هذه النتائج، تم تطبيق أسلوب التحويل المتدحرج مباشرة على مشفرات التمثيل الذاتية، حيث تم تقديم طريقة جديدة تُدعى Drift-RAE، والتي تستخدم تقنيات مبتكرة لتقطير نماذج التدفق المدربة مسبقًا في فضاءات التمثيل الذاتي، مع تعديلات هامة لتحسين استقرار التدريب.

تظهر التجارب نتائج مُبهرة، حيث تحقق الفريق مستوى FID قدره 1.77 على مجموعة بيانات ImageNet 256 باستخدام 10,000 خطوة للتقطير فقط، متجاوزًا الطرق الحالية في هذا المجال. سيتم نشر الكود البرمجي للعموم قريبًا، مما يفتح مجالًا واسعًا لبحث أكثر في هذا الاتجاه.