تظل عملية تقييم أنظمة استرجاع الأزياء من التحديات الكبرى، خاصة في ظل نقص المعايير التي تعكس الاستفسارات المعقدة التي نواجهها في عمليات البحث والتوصية. تعتمد المعايير الحالية غالبًا على التقييم اليدوي أو تصنيفات محددة مسبقًا، مما يؤدي إلى قيود في القابلية للتوسع والتغطية الدلالية.

في هذا السياق، تُقدّم FASHION-RQ: Mining Hierarchical Semantic Structure for Automated Evaluation of Fashion Retrieval، إطارًا مبتكرًا يستخرج استفسارات المستخدمين ومجموعات الصلة بشكل مباشر من هيكل الكتالوج. تكمن الفكرة الرئيسية في أن التمثيلات الهرمية القابلة للتفريق التي تعلمتها نماذج (Residual Quantized Variational Autoencoders) RQ-VAE تنظم المنتجات داخل مجموعات دلالية متماسكة على مستويات تدريجية من الدقة.

يعتمد هذا النظام على بناء معيار FASHION-RQBENCH، مما يولد مجموعة مرجعية تستطيع التوسع دون الحاجة إلى التعليقات اليدوية أو التصنيفات المحددة مسبقًا. تأتي هذه الخطوة مع تقديم أربع مهام تكاملية لتقييم الترتيب، تصنيف الصلة، التمييز الدقيق بين الأشقاء، ومتانة العبارات المكافئة، جنبًا إلى جنب مع مقاييس الصلة على مستوى الاستفسار والصفة.

أظهرت التجارب التي تم إجراؤها على نماذج الاسترجاع الأخيرة أن FASHION-RQBENCH تميز بين قدرات النماذج عبر أنواع الاستفسارات والصفات. وأكدت دراسة بشرية أن الاستفسارات المنبثقة من المعيار تحقق مستويات مقاربة من الطبيعية ووضوح النية مقارنةً باستفسارات المستخدمين الحقيقية، مما يضمن صحتها في تقييمات العالم الواقعي.

سيتم إصدار الكود وبيانات مجموعة FASHION-RQBENCH للجمهور عند قبول البحث.