مع تقدم تقنية توليد الصور، تطور مفهوم التركيب ليشمل أكثر من موضوع واحد، ومع ذلك، كانت هناك مشكلة كبيرة تتعلق بالتفريق بين تلك الموضوعات. ينتج عن عدم القدرة على تمييز العناصر المتعددة في الصورة تفويت فرص ضخمة للاستخدام الفعال في بيئات مرئية معقدة.

لذا، نقدم لكم Scone (اسلوب فريد متعدد الفهم والتوليد)، الذي يمثل طريقة تمزج بين التركيب والتمايز بذكاء. يعمل Scone كحلقة وصل بين الفهم والتوليد، حيث يقوم بفهم المعلومات الدلالية (semantic information) وإرشاد نموذج التوليد للحفاظ على هوية الموضوعات وتجنب أي تداخل قد يؤثر على الجودة النهائية للصورة.

يتبع Scone خطة تدريب ثنائية المراحل: حيث يتم أولاً تعلم التركيب، ثم تعزيز التمايز من خلال المحاذاة الدلالية (semantic alignment) والتصفية المعتمدة على الانتباه (attention-based masking). ولتعزيز فعالية هذا النموذج، قدمنا أيضًا SconeEval، وهو معيار جديد يمكن من تقييم فعالية التركيب والتمايز في مجموعة من السيناريوهات المختلفة.

تظهر التجارب أن Scone يتفوق على النماذج مفتوحة المصدر الحالية في مهام التركيب والتمايز عبر معايير متعددة، مما يبرهن على قدرته في تحسين تجارب توليد الصور النوعية.

لمزيد من التفاصيل وللاطلاع على النموذج ومعيار Scone، يمكن زيارة صفحة GitHub. هل أنتم متحمسون لرؤية كيف يمكن لهذا الابتكار أن يغير طريقة إنتاج الصور؟ شاركونا آراءكم في التعليقات.