في عصر الذكاء الاصطناعي، أصبحت النماذج متعددة الأنماط تتصدر مشهد الابتكار، إلا أن الضبط الدقيق (Fine-tuning) لهذه النماذج يعاني غالبًا من مشكلات خطيرة مثل النسيان الكارثي (Catastrophic Forgetting) عند التعامل مع بيانات جديدة أو خارج نطاق التدريب. في دراسة جديدة تم نشرها على منصة arXiv، تُعرض تقنية جديدة تحت مسمى **TRACER** (**T**rajectory-**R**obust **A**nchoring for **C**ontrastive **E**ncoder **R**egularization)، التي تقدم إطارًا نظريًا لتحسين طرق الضبط الدقيق المتعددة الأنماط.
يؤكد الباحثون أن TRACER يتفوق في استخدام تقنية التعلم الذاتي (Self-distillation) كمقاربة تنظيمية أكثر فاعلية لأداء النماذج، حيث يحافظ على المعرفة المكتسبه من خلال التدريب السابق. ومع ذلك، تكشف الدراسة أيضًا عن عيب كبير في المعلمين (Teachers) المستخدمين في تقنيات التعلم الحركي التقليدية، مثل المتوسط المتحرك الأسّي (Exponential Moving Average - EMA)، حيث يعانون من الانهيار.
وللتغلب على هذه المشكلة، تم إثبات أن استخدام متوسط متحرك مرجح (Weighted Moving Average - WMA) يعزز الاستمرارية التنظيمية ويؤدي إلى عملية تقارب خالية من التحيز في فضاء المهام، ما يضمن الحفاظ على المعرفة المتنوعة.
تُظهر التجارب الواسعة التي أُجريت باستخدام نموذج **CLIP** أن TRACER يحقق دقة متكررة وتحسينات في التقييم عبر ثلاث معماريات أساسية، مما يعكس موثوقيته العالية وقدرته على التكيف مع خيارات الهيبر باراميتر المختلفة. ولمن يرغب في الغوص أعمق في تفاصيل هذه التقنية الثورية، يمكن العثور على الشيفرة المصدرية على GitHub.
ثورة في تقنيات التعلم: TRACER لتعزيز دقة النماذج متعددة الأنماط!
تتطور استراتيجيات الضبط الدقيق للنماذج متعددة الأنماط باستخدام TRACER، مما يحسن مرونتها ويمنح نتائج دقيقة. اكتشف كيف يغير هذا النظام قواعد اللعبة في الذكاء الاصطناعي.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
