في عصر تتزايد فيه أهمية الذكاء الاصطناعي في حياتنا اليومية، تأتي مجموعة بيانات DRMOT (A Dataset and Framework for RGBD Referring Multi-Object Tracking) لتسهم بشكل ملحوظ في تطوير أنظمة التفاعل الذكي مثل الروبوتات (Robotics) وقيادة السيارات ذاتية القيادة (Autonomous Driving).

تسعى تقنية تتبع الأجسام المتعددة المعروفة اختصارًا باسم RMOT (Referring Multi-Object Tracking) إلى تتبع أهداف محددة استنادًا إلى وصف لغوي، غير أن الأساليب الحالية تقتصر بشكل حصري على الملاحظات ثنائية الأبعاد (2D RGB). وهذا يعنى أن التكوينات ثلاثية الأبعاد (3D) المختلفة قد تتطابق مع إسقاطات ثنائية الأبعاد مشابهة، مما يؤدي إلى عدم قدرة الملاحظات المتاحة على تحديد الأهداف المرجعية بشكل فريد.

لمعالجة هذه المسألة، تم إنشاء مجموعة بيانات DRSet، التي تحتوي على 2,076 تعبيرًا مرجعيًا موزعة على 186 تسلسل مصدر RGB-D. ويتضمن هذا المورد الثري صور RGB المتزامنة وخرائط العمق المصاحبة للأوصاف اللغوية، بما في ذلك الأوصاف المعتمدة على العمق، مما يساهم في تقييم شامل لقدرات الكشف والتتبع المكاني الدلالي.

علاوة على ذلك، تم تقديم إطار العمل DRTrack، الذي يعتمد على نماذج اللغات متعددة الوسائط (MLLM)-guided لتتبع الأجسام المرجعية المعتمدة على العمق. يستخدم DRTrack نموذجًا متميزًا قد تم ضبطه بشكل دقيق (Geometric-Aware GRPO fine-tuned Multimodal Large Language Model) لتحقيق كشف مكاني دلالي دقيق من المدخلات المشتركة L + RGB + D، بالإضافة إلى تضمين إشارات العمق الصريحة لتعزيز دقة الربط بين المسارات.

أظهرت التجارب الواسعة على مجموعة بيانات DRSet فعالية إطار العمل المقترح، مما يقدّم آفاقًا جديدة في مجالات الذكاء الاصطناعي. سيتم توفير مجموعة البيانات وأكوادها على منصة GitHub، مما يتيح للباحثين والمطورين الاستفادة منها وتحقيق تقدم ملحوظ في هذا المجال.