في عالم يتسم بتنوع البيانات متعددة الوسائط، مثل الصور والنصوص، يصبح من الضروري تطوير نماذج قادرة على التعامل مع هذه التنوعات بشكل فعال. هنا تأتي أهمية النموذج الجديد CIM-Embed، الذي يمثل نقطة انطلاق جديدة في مجال تعلم التضمينات (Embeddings).

تتطلب الكائنات متعددة الوسائط تجميعها بناءً على تعليمات مختلفة، مثل تصنيف المنتجات في كتالوج التجارة الإلكترونية حسب اللون أو المادة. ولكن التضمينات التي تركز على الاسترجاع قد لا تُحقق هذه التجميعات بدقة، بينما تعتمد طرق التجميع التوليدية على أوصاف وسيطة أو قرارات تكرارية.

تقدم الورقة البحثية إطار عمل CIM-Embed، الذي يعتمد على التعلم المتباين المراقب لتحقيق تجميع فعال. هذا النموذج يستخدم تكرارات من نفس المجموعة مقابل سلبية من مجموعات أخرى، مع إمكانية تضمين مهام أخرى لتوسيع نطاق العمل.

تتضمن طريقتنا استخدام دفعات بيانات هيكلية غير متجانسة، تسمح بالتعامل مع مهام تتطلب عدد مجموعات مختلف، مما يعزز من دقة النموذج في توزيع منتجات جديدة.

خلال مرحلة الاستدلال، يقوم النموذج بربط صورة كل كائن ونص التعليمات بشكل مباشر إلى تضمين (Embedding)، مما يمكن خوارزمية HDBSCAN من تشكيل تقسيم دون الحاجة إلى عدد مجموعات حقيقي محدد مسبقًا.

تم بناء مجموعة بيانات ProductMIC باستخدام بيانات المنتجات من Amazon Reviews 2023، التي تتضمن 5,373 منتجًا و449 مهمة لتجميع الصفات المفردة والتركيبية عبر 50 فئة. بتطبيق التضمينات عالية الابعاد وتجربة SupCon، يُظهر النموذج درجة V متوسطة تبلغ 95.01، وهو ما يزيد بشكل كبير عن 53.06 المرقمة لـ WeMM 9B، المعروفة كنموذج قاعدة بيانات قوي.

يُعد هذا الإنجاز نقطة انطلاق رئيسية لتطوير تجميعات موجهة للتعليمات في المستقبل، حيث نخطط لإطلاق الكود ومجموعة البيانات بمجرد قبول البحث.

هل أنتم متشوقون للاطلاع على تطبيقات هذا النموذج في مجالات أخرى؟ شاركونا آراءكم في التعليقات!