في عالم الذكاء الاصطناعي، تتوالى الابتكارات التي تلبي الحاجات المتزايدة للذكاء والكفاءة. ومن بين هذه الابتكارات، تأتي مشفرات التمثيل التلقائية (RAE) لتقدم بديلاً واعداً للنماذج التقليدية مثل VAE. في ورقة بحثية حديثة، تم استكشاف عدة خيارات تصميمية للمشفرات وتوصل الباحثون لثلاثة اكتشافات رئيسية تعزز من أدائها.

أولاً، تم تحديد صيغة معممة حيث يتم تعريف التمثيل كمجموع لآخر k طبقات من المشفر بدلاً من الاعتماد على الطبقة النهائية فقط. هذا التغيير البسيط أحدث تحسناً ملحوظاً في إعادة بناء البيانات دون الحاجة لضبط المشفر أو استخدام بيانات متخصصة مثل النصوص أو الصور الشخصية.

ثانياً، تم فحص الافتراضات السائدة حول استخدام RAE كبديل لمحاذاة التمثيل (REPA)، التي تتطلب تقطير نفس التمثيل إلى الطبقات الوسيطة. ومن خلال تحليل تجريبي على نطاق واسع، تم الكشف عن أن RAE وREPA يعملان بشكل تكاملي، مما يمكّن الاستفادة من نفس التمثيل ككل من المشفر والهدف للطبقات الوسيطة.

أخيراً، كانت النسخة الأصلية من RAE تواجه صعوبات مع توجيه بدون مصنف (CFG) وكانت تتطلب تدريب نموذج تفاضلي ثاني أضعف لتحقيق التوجيه الذاتي (AG). ولكن من خلال إعادة هيكلة بسيطة لنموذج DiT، يمكن الحصول على توجيه "مجاني".

أصبح نموذج RAEv2 يوفر أكثر من 10 مرات من سرعة التقارب مقارنةً بالإصدار الأصلي، محققاً مقياس gFID الرائد عند 1.06 فقط خلال 80 دورة تدريبية على مجموعة بيانات ImageNet-256. كما حقق أداءً متميزاً على نموذج FDr^k، حيث وصل إلى gFID بقيمة 2.17 مقارنةً بالرقم القياسي السابق 3.26 بعد 800 دورة تدريبية، دون الحاجة لأي تدريب لاحق. كل ذلك حفز على اعتماد مقياس EP_FID@k (عدد الدورات للوصول إلى gFID بدون توجيه أقل من أو يساوي k) كمقياس جديد للكفاءة التدريبية.

يظهر نموذج RAEv2 EP_FID@2 بمعدل 35 دورة، مقارنةً بـ177 للدورة الأصلية. كما تم التأكيد على فعالية النهج المطور عبر إعدادات متنوعة لتوليد الصور من النصوص ونماذج العالم للقيادة، مما أظهر تحسناً ثابتاً. الكود متاح على [https://raev2.github.io].