في عالم تقنيات الذكاء الاصطناعي، أثبتت نماذج اللغة والرؤية (VLMs) كفاءتها الاستثنائية في مجموعة متنوعة من المهام متعددة الوسائط. مؤخرًا، زاد الاهتمام بتحسين قدرة هذه النماذج على التخصيص لتلبية احتياجات المستخدمين بشكل أفضل.

تستخدم العديد من الطرق، بهدف دمج المفاهيم المقدمة من المستخدم، عينات إيجابية وسلبية لتحسين نماذج الـ VLMs. ومع ذلك، لا تزال التحديات قائمة بسبب ندرة العينات الإيجابية المقدمة من المستخدمين وانخفاض جودة العينات السلبية المسترجعة، مما يؤثر على التقنيات الموجودة.

لتجاوز هذه العقبات، قُمنا بتحليل شامل لتأثير كمية وتنوع العينات الإيجابية والسلبية - سهلة وصعبة - على مهام تخصيص الـ VLM. وقد قاد هذا التحليل إلى تقديم مفهوم جديد يُعرف باسم Concept-as-Tree (CaT).

هذا الإطار يمثل المفهوم كهيكل شجري، مما يمكّن من توليد بيانات إيجابية وسلبية تتفاوت في صعوبتها وتنوعها، كما يُمكن توسيعه بسهولة إلي سيناريوهات متعددة المفاهيم. لضمان جودة البيانات المولدة، تم تصميم استراتيجية تصفية بيانات فعالة تُعزز من أداء هذا الإطار.

أجرينا تجارب شاملة مع معايير تخصيص VLM المختلفة لقياس فعالية هذه المنصة، وقد أظهرت النتائج أن الإطار CaT، مع استراتيجية تصفية البيانات المقترحة، يعزز بشكل كبير من قدرات VLMs عبر المعايير المختلفة، مُساعدًا في التغلب على نقص العينات الإيجابية وجودة العينات السلبية.

لأول مرة، هذا العمل يُقدم أنبوب بيانات اصطناعية خاضعة للتحكم لتحسين تخصيص VLMs، مما يفتح آفاقًا جديدة للابتكار في هذا المجال.