في السنوات الأخيرة، شهدت نماذج اللغة ثلاثية الأبعاد (3D-LLMs) تقدمًا ملحوظًا، لكن لا تزال هناك تحديات كبيرة تواجه دقة تمثيل اللغة للعناصر البصرية والمكانية. أهم أسباب هذه القيود تعود إلى نقص البيانات المخصصة لفهم السياقات المكانية، مما يؤدي إلى انحيازات قائمة في عملية التأسيس (grounding).

لتجاوز هذه العقبة، اقترحت مجموعة من الباحثين آلية مبتكرة تُعرف بتحرير المشهد ثلاثي الأبعاد. هذه الآلية تتيح إنشاء نماذج بصرية مضادة (counterfactuals) تعمل على تقليل التحيزات من خلال تعديل دقيق للمساحات، دون الحاجة إلى إعادة بناء المشاهد أو جمع كميات ضخمة من البيانات ثلاثية الأبعاد.

يكمن الاختلاف الرئيسي في منهجية DEER-3D، التي تعتمد على تصحيح الأخطاء لتسهيل عملية التعلم. هذا الإطار يعمل وفق حلقة منظمة تتضمن خطوات "التفكيك، التشخيص، التعديل، وإعادة التدريب". حيث يبدأ DEER-3D بتحديد الأخطاء على مستوى العبارات (predicate-level errors) كالصفات أو العلاقات المكانية، ومن ثم يجري تعديلات بسيطة مثل إعادة تلوين العناصر أو إعادة تموضعها.

علاوة على ذلك، يتم إنشاء أزواج من الأسئلة والأجوبة تتماشى مع الأخطاء التي تم التعرف عليها، مما يوفر نماذج تدريب مستهدفة تتعلق بمسؤوليات التأسيس المفقودة. وقد أثبتت نتائج التجارب عبر العديد من المعايير لتحليل المشاهد وفهمها، تحسنًا ملحوظًا في أدائها، حيث أظهرت تحسينات تتراوح بين 4-6٪ عبر جميع مجموعات البيانات المستخدمة.

تسلط هذه الدراسة الضوء على فعالية تعديل المشاهد بطريقة مدفوعة بالأخطاء في ربط التفكير اللغوي مع التأسيس المكاني في نماذج اللغة ثلاثية الأبعاد، مما يُعزز الأمل في تطوير نماذج أكثر دقة وفعالية في المستقبل.