شهدت السنوات الأخيرة تقدمًا كبيرًا في مجال نماذج اللغات الضخمة (LLMs) ونماذج الرؤية واللغة (VLMs)، مما جعلها أدوات قوية في مجال التنقل المعقد. يُعد نموذج Mem2Ego التكنولوجيا الأحدث التي تسعى إلى تحسين هذه النماذج عبر دمج الذاكرة العالمية مع الرؤية الشخصية، مما يمكنها من اتخاذ قرارات أكثر فعالية.

إن النماذج الحالية غالبًا ما تعتمد على تحويل الذاكرة العالمية، مثل الخرائط الدلالية أو الطوبوغرافية، إلى أوصاف لغوية توجه التجول. ورغم أن هذه الطريقة تعزز الكفاءة وتقلل من الاستكشاف غير الضروري، إلا أن فقدان المعلومات الهندسية في التمثيلات اللغوية يعوق القدرة على التفكير المكاني، خصوصًا في البيئات المعقدة.

لذا، تقدم أساليب نماذج الرؤية واللغة حلاً من خلال معالجة المدخلات البصرية المركزية على الذات لاختيار الاتجاهات المثلى للاستكشاف، إلا أن الاعتماد فقط على منظور الشخص الأول يجعل من التنقل مشكلة قرار جزئية، مما يؤدي إلى اتخاذ قرارات غير مثالية.

في ورقتنا الجديدة، نقوم بتقديم إطار عمل مبتكر يعتمد على نماذج الرؤية واللغة يمكّن من معالجة هذه التحديات. يقوم النموذج حديثًا باسترجاع إشارات ذات صلة بالمهام من وحدة ذاكرة عالمية بشكل ديناميكي، ودمجها مع الإدراكات الخاصة بالعميل. هذا التنسيق الديناميكي بين المعلومات السياقية العالمية والإدراك المحلي يعزز من القدرة على التفكير المكاني واتخاذ القرارات في المهام ذات الأمد الطويل.

بدلاً من الطرق السابقة، يتفوق هذا الأسلوب المقترح بشكل ملحوظ في الاختبارات المعيارية مثل HSSD وHM3D، وقد أثبت أداؤه القوي على روبوت حقيقي. لذا، إذا كنت تبحث عن طرق جديدة لتحسين استكشافاتك في بيئات معقدة، فإن نموذج Mem2Ego هو خيارك الأمثل.