استغلال نماذج الصور التوليدية لتبسيط تجريد الأشكال الأساسية بدون تدريب!

في عالم الذكاء الاصطناعي، تمثل منحنيات الأشكال ثلاثية الأبعاد مجموعة متماسكة من الأشكال الهندسية الأساسية، وهو ما يعد أمرًا أساسيًا في مجالات الروبوتات ومحاكاة المشاهد وفهمها. مؤخرًا، ظهرت نماذج الصور التوليدية المدربة على نطاق واسع كمتعلمين بصريين عامين قادرين على التعرف على أجزاء الأجسام وتقسيمها مباشرة في مجالات الصور، عبر فئات متنوعة وبدون الحاجة لتدريب مخصص لكل مهمة.

في هذا السياق، تساءل الباحثون عما إذا كان من الممكن الاستفادة من القدرة المدربة مسبقًا لهذه النماذج بشكل مباشر، دون الحاجة لأي تدريب إضافي. وأكدوا إمكانية ذلك باستخدام طريقة بدون تدريب. تبدأ هذه الطريقة برسم صور متعددة الرؤى لشيء ثلاثي الأبعاد، ومن ثم تستخدم نموذج رؤية-لغة (Vision-Language Model) لتحليل أجزائه الدلالية. بعد ذلك، يتم توجيه نموذج الصورة التوليدية لرسم قناع تقسيم الأجزاء الملون، وإعادة طرحه على الهندسة، وضبط نموذج سوبركوادريك (Superquadric) لكل جزء عبر تحسين المعلمات.

تمتاز هذه الطريقة بعدم احتواءها على أي معلمات متعلمة، مما يجعلها مستقلة عن الفئات وغير حساسة للتوجهات، وهي خصائص عانت منها النماذج المعتمدة على التعلم في السابق. مع استمرار تحسين نماذج التوليد، ستظل دقة هذه الطريقة مرشحة للارتفاع، حيث أثبتت دراسة التقطيع الحقيقية أن تقطيع الأجزاء، وليس ضبط الأشكال الأولية، هو العنصر المحدد لدقة النظام.

في دراسات HumanPrim وToys4K، حققت هذه الطريقة أدنى مسافة Chamfer مقارنة بجميع الطرق التي تم تقييمها، باستخدام 5 إلى 9 أشكال أساسية في المتوسط لكل جسم. هذا الابتكار يمكن أن يُحدث ثورة في كيفية فهم الروبوتات للأشكال والمشاهد، بالإضافة إلى تحسين جهود البحث والتطوير في هذا المجال.