تُعتبر مهمة توصيف الكثافة ثلاثية الأبعاد (3D Dense Captioning) من المفاهيم الناشئة في مجال الرؤية الحاسوبية ومعالجة اللغة، حيث تهدف إلى توليد جمل وصفية لكل عنصر موجود في مشهد ثلاثي الأبعاد. رغم النتائج اللافتة التي تحققت بواسطة أساليب سابقة، إلا أن هذه الأساليب تعاني من مشكلتين رئيسيتين.

المشكلة الأولى تتعلق باستخدام التحولات الجغرافية الصلبة (global rigid transformations)، مثل الدوران، لتكبير المشاهد دون تغيير تخطيطات الفضاء الخاصة بها، في حين أن تنوع تخطيطات الفضاء يعد حاسمًا لتدريب نموذج توصيف الكثافة ثلاثية الأبعاد لوصف العلاقات المكانية بين الأجسام. أما المشكلة الثانية، فهي أن الأعمال السابقة كانت تركز بشكل أساسي على تصميم خط أنابيب توليد التوصيف بينما استخدمت بنية بسيطة لشبكات الكشف، وهي ضرورية لاستخراج المعلومات الدلالية الغنية للتوصيف.

في هذا الإطار، نقدم تقنية PVCap التي تهدف إلى معالجة هذه القضايا. تتكون PVCap من تقنيتين أساسيتين: PseudoCap وVoxelCapNet. حيث يستخدم PseudoCap تقنية الخلط العشوائي على العينات ضمن مجموعة البيانات، مما يوفر الكثير من الإطارات المزيفة ذات التخطيطات المكانية المتنوعة على مستوى الحالة. باستخدام إطار عمل المعلم-الطالب، يحصل PseudoCap على تسميات توصف مزيفة لهذه الإطارات. هذه الاستراتيجية في زيادة البيانات تُساهم بشكل ملموس في زيادة عدد عينات التدريب وتعزيز قدرة النموذج على وصف البيئة بشكل فعّال.

أما بالنسبة لـ VoxelCapNet، فنحن نقدم شبكة توصيف قوية تستخدم ميزات الفوكيل (voxel features) وتكيف رأس التوصيف مع بنية الشبكة المعتمدة على الفوكيل. يمكن أن تعمل VoxelCapNet كخط أساس تنافسي للأبحاث المستقبلية في مجال توصيف الكثافة ثلاثية الأبعاد. بالإضافة إلى ذلك، أثبتت التجارب الواسعة على معيارين شائعين، وهما ScanRefer وNr3D، أن طريقتنا تفوقت على أفضل النتائج الحالية بنسبة 11.41% و13.99% على التوالي في قياس CIDEr@0.5IoU.

كما سيتم نشر الأكواد الخاصة بهذه التقنية بشكل علني للاستفادة المجتمعية.