هل يكفي رؤية واحدة؟ تقنية جديدة لتقليص الرموز المعتمدة على الهندسة ثلاثية الأبعاد في الإجابة عن الأسئلة!

في عالم الذكاء الاصطناعي (AI)، كانت نماذج اللغات متعددة الوسائط (Multi-modal Large Language Models) تحقق نجاحات كبيرة في مهام الإجابة عن الأسئلة في البيئة ثنائية الأبعاد. ولكن ما زال التحدي كبيرًا عندما يتعلق الأمر بالبيانات الثلاثية الأبعاد، حيث تتطلب هذه النماذج استخدام مشاهد متعددة، مما يزيد من تكلفة الحسابات بشكل كبير أثناء الاستنتاج.

لذا، في خطوة مبتكرة، تُقدِّم دراسة جديدة طريقة جديدة تُعرف بتقنية تقليص الرموز المعتمدة على الهندسة (Geometry-Aware Token Pruning)، والتي تعمل عبر الإنترنت دون الحاجة إلى معالجة مسبقة لجميع مشاهد السيناريو. تعتمد هذه التقنية على الإسقاط لكل إطار مدخل في مساحة فوكسل مشتركة باستخدام معلومات العمق ووضع الكاميرا، مما يسمح بتحديد المناطق المتداخلة بين الإطارات وتقليم الرموز المكررة قبل الدخول إلى نموذج اللغة.

تظهر النتائج أن هذه الطريقة تُخفض استخدام الرموز بنحو 50% وتعمل بكفاءة عالية. تم تطبيق هذه التقنية على نماذج مثل Qwen2.5-VL-7B وQwen3-VL-8B، حيث أظهرت أداءً محسنًا على معايير مختلفة مثل ScanQA وSQA3D وOpenEQA-HM3D.

هل أنتم مستعدون لاستكشاف إمكانيات الذكاء الاصطناعي في معالجة البيانات ثلاثية الأبعاد بطريقة جديدة ومبتكرة؟ شاركونا آراءكم!