ثورة في استرجاع الصور: مزج الرسومات اليدوية والنصوص لنتائج مذهلة!

يُعتبر استرجاع الصور الدقيقة باستخدام الرسومات اليدوية أو الأوصاف النصية من التحديات الكبرى في مجال الذكاء الاصطناعي، وذلك بسبب الفجوات المتأصلة بين هذه الطرق. تعتبر الرسومات اليدوية وسيلة فعّالة لالتقاط الهياكل المعقدة، لكنها تفتقر إلى الألوان والملمس، بينما توفر النصوص معلومات غنية عن الألوان والملمس، لكنها تفشل في تقديم التفاصيل الهيكلية.

استجابة لهذا الموقف، تم اقتراح إطار عمل جديد يُعرف باسم استرجاع الصور المعتمد على الرسومات والنصوص (Sketch and Text Based Image Retrieval - STBIR). يهدف هذا الإطار إلى دمج المعلومات الغنية التي تقدمها النصوص مع الأشكال الهيكلية التي تحتويها الرسومات.

أحد العناصر الأساسية في هذا الإطار هو تحسين قوة النموذج من خلال نموذج تعزيز متانة معتمد على التعلم التدريجي، مما يساعد على التعامل مع استفسارات ذات جودة متباينة بشكل أفضل. كما تم تطوير وحدة تحسين فضاء الميزات المعتمدة على المعرفة الفئوية لتعزيز القدرة التمثيلية للنموذج بشكل كبير.

كما تم تصميم آلية محاذاة الميزات متعددة المراحل للحد من التحديات المرتبطة بمحاذاة الميزات عبر الوسائط المختلفة.

كخطوة إضافية، تم إعداد مجموعة بيانات معيارية لاسترجاع الصور الدقيقة STBIR للتحقق بصرامة من فعالية الإطار المقترح وتوفير بيانات مرجعية للأبحاث المستقبلية ذات الصلة.

تظهر التجارب الشاملة أن إطار عمل STBIR يتفوق بشكل كبير على الأساليب الحالية في هذا المجال، مما يعكس إمكانية تغيير قواعد اللعبة في كيفية تعاملنا مع استرجاع الصور.