空间记忆与地图表示调研报告：从绝对坐标到相对空间关系

Runqing Xu  |  2026年7月2日

一、调研背景与目标

在具身智能体的室内导航任务中，基于绝对坐标的空间理解体系面临固有局限：对建图精度高度依赖、难以处理动态环境变化、且与自然语言指令之间存在语义鸿沟。相比之下，人类主要依靠周围物体和空间关系（如"桌子旁边"、"厨房对面的房间"）来理解和描述位置，这种相对空间关系理解体系更具鲁棒性和灵活性。本报告围绕"如何从绝对坐标体系转向相对空间关系体系"这一核心问题，从语义地图表示、空间认知定位、Planner消费模式、空间关系建模、代表性系统五个方向，调研了15篇代表性工作。

本报告系统调研了15篇代表性工作，覆盖语义地图与embedding表示（ConceptGraphs、VLMaps、CLIP-Fields）、空间认知与非几何定位（SceneGraphLoc、RoboHop、SPACE Benchmark）、Planner消费地图（SayPlan、SG-Nav、MapGPT、MapNav）、空间关系建模（SpatialVLM、SR-Nav、HRON）、代表性端到端系统（3D-Mem、ESCA）五个方向，为技术选型和系统设计提供决策依据。

---

二、核心结论

问题1：有没有不依赖传统地图或精确坐标的空间表示方案？

结论：有，且已形成三条成熟技术路线。

• 路线A：语义embedding地图。 VLMaps将CLIP/LSeg的稠密pixel embedding融合到2D栅格地图中，每个栅格存储连续语义向量而非离散标签，支持开放词汇查询（pixel accuracy 92.3%）。CLIP-Fields更进一步，用隐式神经场将CLIP+SBERT embedding编码到3D坐标上，理论上支持任意精度的连续3D查询。两者均不依赖预定义类别，查询时只需计算文本embedding与地图embedding的相似度。
• 路线B：物体级3D场景图。 ConceptGraphs以物体为节点、空间关系为边构建图结构，每个节点携带CLIP特征、自然语言描述和3D包围盒。节点级粒度相比逐像素表示大幅降低存储开销，图结构天然编码"on"、"in"、"next to"等相对空间关系。SG-Nav在此基础上增加了group和room两个层级，形成object-group-room三层结构。
• 路线C：纯拓扑图。 RoboHop和MapGPT证明了完全不需要3D坐标也能支持导航——RoboHop以图像segment为节点、帧内/帧间关联为边构建纯拓扑图；MapGPT将拓扑连接关系表述为"Place X is connected with Places Y, Z"的自然语言，完全去坐标化。MapGPT的消融实验明确表明：引入GPS坐标反而降低性能（SR从44.9%降至41.2%），而纯拓扑文本地图带来显著提升。

问题2：有没有基于空间认知而非几何定位的方案？

结论：有，但必须清醒认识VLM空间认知能力的严重不足。

SceneGraphLoc证明了场景图可以作为极其紧凑的定位参考——仅5.4MB存储即可替代5720.3MB的图像数据库，存储压缩1000倍，检索速度快1000倍以上。RoboHop更激进地证明了纯拓扑表示（无任何度量坐标）即可支持导航规划。

但SPACE Benchmark（ICLR 2025）揭示了一个结构性问题：该基准测试时的前沿VLM（GPT-4o、Claude 3.5 Sonnet等）在第一人称视角下的大尺度空间认知任务中接近随机水平（GPT-4o仅23.0%，chance为15.0%）。Mental rotation、perspective taking等核心空间认知能力均接近随机。尽管此后模型能力有所提升，但这一结论指向的是VLM架构层面的固有短板——空间认知并非简单的语义理解，而需要专门的空间推理机制。因此，不宜将空间推理直接委托给通用VLM，应当构建显式的外部空间表示作为辅助。

一个重要发现是：VLM在纯文本呈现下的空间认知显著优于多模态呈现（Claude 3.5: 文本64.5% vs 多模态43.8%），这为将空间信息结构化为文本/符号表示后再交给LLM处理的技术路线提供了有力支持。

问题3：Planner如何利用地图？

结论：主流消费模式有四种，文本序列化是当前最优解。

SayPlan的collapse-and-expand机制特别值得关注：通过层级折叠将6731 tokens压缩至878 tokens（压缩86.9%），在保证LLM可消费性的同时解决了大场景的扩展性问题。SG-Nav的层级Chain-of-Thought prompting证明了结构化场景图比扁平文本列表更有效（SR提升+3.7%）。

MapNav提出了一个值得关注的思路：在语义地图上叠加物体名称的文字标注以提升VLM的理解能力。但需注意，该工作在实际复现中效果远低于论文报告的数值，其方案更适合作为思路参考而非直接工程借鉴。

问题4：如何建模空间关系（前后左右相邻连通）？

结论：多维关系编码（拓扑+方向+距离）效果最佳，拓扑关系是最关键的维度。

SR-Nav的DSRG提出了最完整的空间关系编码方案，同时编码三种维度：拓扑关系（包含、连接）、方向关系（相对角度方位）、距离关系（欧氏距离量化）。消融实验表明拓扑关系对性能影响最大（去除后SR降5.6%），距离次之（降2.3%），方向最小（降1.0%）。

SpatialVLM通过20亿条自动生成的spatial VQA数据训练VLM，使其具备定性空间判断能力（75.2% accuracy），证明了"A在B左边"等定性描述的可行性。但定量距离估计精度有限（仅37.2%在GT的半到两倍范围内），不足以支撑精确控制。

HRON的层次化关系设计（object-onTop/inside/under-furniture-inRoom-room-roomConnected-room）为我们提供了可直接借鉴的关系谓词体系。其实验证明：场景图+任务驱动注意力的SR（0.879）远超2D语义地图（0.554），为场景图路线提供了定量支撑。

问题5：代表性系统总结

系统一：SG-Nav（在线场景图 + 层级CoT导航）

SG-Nav是将场景图与LLM结合进行导航的最完整工程落地方案。感知端在线构建object-group-room三层场景图，增量式更新边关系；决策端将场景图切分为子图，通过层级Chain-of-Thought引导LLM逐层推理目标位置；验证端通过Re-perception机制利用场景图上下文过滤检测误报。在三个benchmark上以zero-shot方式超越此前所有zero-shot方法（MP3D SR 40.2%，超越supervised方法SemEXP的36.0%）。

系统二：SR-Nav（空间关系图 + 双模块协同）

SR-Nav将空间关系建模提升到最高水平。其DSRG融合LLM生成的经验性空间先验与在线感知观测，同时服务于感知校正（RAMM模块通过空间关系一致性检验甄别FP/FN）和导航规划（DRPM模块将关系路径转化为语义导航线索）。在HM3D上达到58.3% SR，比SG-Nav高4.4%，同时推理速度快8.7倍。

系统三：3D-Mem（视觉快照记忆 + VLM直接推理）

3D-Mem挑战了场景图范式，提出用精选的多视角快照图像替代图结构作为空间记忆。通过Co-Visibility Clustering选出信息密度最高的代表帧，让VLM直接在图像上推理空间关系。在需要精细空间判断的任务上（如"扶手椅前方是否有足够空间"）显著优于ConceptGraphs的文本化场景图（spatial understanding: 43.4 vs 32.9）。

---

三、全景对比

---

四、方向1：语义地图与embedding表示

4.1 问题定义

传统语义地图将每个栅格标注为预定义类别集合中的离散标签（如40类Matterport类别），这种封闭词汇的表示无法应对开放世界中的新物体和新概念。方向1探索的核心问题是：如何构建一种语义丰富、支持开放词汇查询、且能有效服务于下游规划任务的空间表示？

4.2 现有方案对比

三者构成了一条清晰的演进线索：VLMaps的2D像素级栅格 -> CLIP-Fields的3D点级神经场 -> ConceptGraphs的3D物体级场景图，表示粒度逐步提升，从稠密底层特征走向结构化高层语义。

4.3 系统设计启示

1. 推荐采用ConceptGraphs的物体级场景图路线。 物体级粒度与人类的空间认知方式最为接近——人类记住的是"桌子上有杯子"，而非"坐标(3.2, 5.1)处有embedding向量"。图结构天然支持相对空间关系的编码，且JSON序列化后可直接供LLM消费。
2. 保留VLMaps的embedding查询能力作为底层检索引擎。 当需要回答"哪里有红色的东西"这类细粒度查询时，embedding相似度检索比遍历场景图节点描述更高效。可以在场景图节点中保留CLIP embedding作为属性。
3. CLIP-Fields的隐式表示不适合在线场景。 场景级训练无法支持增量更新，且查询需要遍历全场景点，不适合实时系统。但其"将多模态embedding编码到空间坐标"的理念可以借鉴。

4.4 推荐关键图

---

五、方向2：空间认知与非几何定位

5.1 问题定义

传统定位方案依赖精确的6DoF位姿估计和大规模图像/点云数据库，存储和计算代价高昂。方向2探索的问题是：能否像人类一样，通过识别周围物体和理解空间关系来判断"我在哪里"，而非依赖精确坐标？更根本地，当前的VLM到底具备多少空间认知能力？

5.2 现有方案对比

5.3 系统设计启示

1. SPACE Benchmark的结论是最重要的警示：不能将空间推理委托给VLM。 所有前沿VLM在egocentric image模式下的大尺度空间认知接近随机水平。这意味着必须构建显式的外部空间表示（场景图或拓扑图），而非期望VLM通过"看"就能理解空间。
2. 文本/符号表示优于视觉表示。 SPACE的数据清晰表明，将空间信息结构化为文本后再交给LLM，效果显著优于直接输入图像。这直接验证了通过场景图等符号化表示来桥接VLM与空间推理的技术路线。
3. RoboHop的纯拓扑方案可作为轻量级备选。 在不需要精确位置但需要快速部署的场景中，RoboHop的segment-as-node拓扑图提供了一种零样本、不需要训练策略的导航方案。
4. SceneGraphLoc的多模态融合框架值得借鉴。 其将几何（点云）、语义（类别、属性）、拓扑（关系）和视觉（图像）信息融合到统一的节点embedding中的设计，为构建丰富的空间表示提供了参考。

5.4 推荐关键图

---

六、方向3：Planner如何消费地图

6.1 问题定义

构建好的空间表示如何被Planner有效消费，是决定整体系统性能的关键接口。方向3探索的问题是：LLM/VLM-based Planner应该以什么形式接收空间信息？文本序列化、视觉输入、代码生成、还是其他方式？

6.2 现有方案对比

四种消费模式的核心差异在于信息传递的"接口层"：SayPlan和SG-Nav通过文本序列化保留了图结构信息；MapGPT彻底去结构化，只保留拓扑连接的文本描述；MapNav则走视觉路线，让VLM直接"看"地图图像，但其实际复现效果不佳，"文字标注提升VLM地图理解"的思路仍有价值，工程落地需谨慎。

6.3 系统设计启示

1. 推荐采用分层文本序列化作为主消费接口。 SG-Nav的实验证明层级CoT比扁平文本列表提升3.7% SR，SayPlan证明层级折叠可将token压缩86.9%。
2. MapGPT的去坐标化提供了有力的实验支撑。 坐标输入反而降低性能（SR降1.4%）的实验结果，表明从绝对坐标向相对空间关系转型在技术上是合理的。
3. MapNav的文字标注思路可作为参考。 在顶视图上叠加物体名称文字标签的方向是合理的，但该方案在实际复现中效果有限，不宜直接采信论文数据，需结合具体场景验证。
4. 迭代验证机制是保证可执行性的关键。 SayPlan的Scene Graph Simulator验证+迭代重规划将长程任务可执行率从13.3%提升到86.6%。

6.4 推荐关键图

---

七、方向4：空间关系建模

7.1 问题定义

从绝对坐标转向相对空间关系，核心技术挑战是：如何有效建模前后、左右、相邻、连通、包含等空间关系？这些关系应以什么形式编码，以便被Planner消费？VLM能在多大程度上理解这些关系？

7.2 现有方案对比

7.3 系统设计启示

1. 采用SR-Nav的三维关系编码方案。 拓扑关系（包含、连通）+ 方向关系（相对方位）+ 距离关系（粗略量化）的三元组表示，与类人空间理解的目标高度契合。
2. LLM先验+在线更新的双源融合策略可直接复用。 在进入新环境前，用LLM生成目标物体的空间关系先验，然后在探索中用实际观测逐步修正。
3. HRON的实验为场景图路线提供了定量支撑。 场景图+任务驱动注意力（SR 0.879）远超2D语义地图（0.554），且纯场景图无注意力（0.458）反而不如无场景图（0.586），说明信息过滤机制至关重要。
4. SpatialVLM证明了定性空间推理的可行性但定量精度不足。 "A在B左边""A比B高"等定性描述可以作为有效的空间表征（75.2% accuracy），但距离估计精度有限。

7.4 推荐关键图

---

八、方向5：代表性端到端系统

8.1 问题定义

上述四个方向分别解决了空间表示、认知定位、Planner消费和关系建模的子问题。方向5关注的是：当这些模块组合为端到端系统时，哪些是真正的瓶颈？场景图是否是最佳方案？

8.2 3D-Mem：挑战场景图范式

3D-Mem对场景图提出了有力的质疑：当需要回答"扶手椅前面是否有足够空间放咖啡桌"时，场景图只能提供"chair near sofa"这样的粗糙文本，无法度量空间余量或判断朝向性关系。3D-Mem的替代方案是：通过Co-Visibility Clustering选出信息密度最高的多视角快照图像，让VLM直接在图像上进行视觉推理。

实验表明，3D-Mem在spatial understanding类问题上显著优于ConceptGraphs（A-EQA: 43.4 vs 32.9），在GOAT-Bench终身导航上SR达69.1%。但3D-Mem并非完全抛弃结构化信息：它仍然维护底层物体集合作为索引，本质上是"结构化索引+视觉快照"的混合架构。

8.3 ESCA：感知是瓶颈而非规划

ESCA提供了最具冲击力的实证发现：在60个EB-Navigation任务中，69%的失败源于感知错误（hallucination + 误识别），仅11%源于推理错误，20%源于规划错误。引入ESCA的结构化scene graph增强后，感知错误降至30%，InternVL-2.5（开源38B）的性能超越了GPT-4o基线。

ESCA的核心设计是Selective Grounding：不将完整scene graph注入MLLM（这可能反而降低性能），而是根据任务instruction选择性地提取相关子集。

8.4 系统设计启示

1. "场景图+视觉快照"的混合架构是最佳方案。 3D-Mem证明了视觉快照在精细空间推理上的优势，但场景图在跨区域推理、长程规划和快速检索上不可替代。
2. 优先投入感知模块的改善。 ESCA的69%感知错误比例表明，在Planner不变的情况下，改善感知能力的ROI远高于改善规划。
3. Selective Grounding原则应贯穿系统设计。 不论是场景图还是视觉快照，都不应无差别地全量传递给Planner。

8.5 推荐关键图

---

九、整体建议与实施路线

9.1 推荐的空间表示方案

综合15篇论文的证据，推荐采用"层级场景图 + 多维空间关系边 + 视觉快照缓存"的三层混合空间表示方案：

第一层：层级场景图（核心骨架）。 参考SG-Nav和SayPlan的设计，构建room-zone-object三层结构。节点属性包含语义类别、自然语言描述、CLIP embedding、置信度分数。节点间的边编码三种空间关系（参考SR-Nav）：拓扑关系（包含、连通）、方向关系（前后左右）、距离关系（近/中/远的粗略量化）。这种表示不依赖绝对坐标，而是用相对空间关系描述物体和区域之间的关系。

第二层：拓扑连接索引（导航支撑）。 在场景图之上维护区域间的拓扑连接关系（哪些区域可以直接通行），支持Dijkstra等经典路径规划算法。参考SayPlan的pose节点序列设计，保留轻量级的度量信息（如区域间的步数/距离估计）以支持路径长度估算。

第三层：视觉快照缓存（精细推理）。 参考3D-Mem的Memory Snapshot设计，为每个功能区域维护一张信息密度最高的代表性快照图像。通过Co-Visibility Clustering算法选帧，确保每张快照覆盖该区域的关键物体。当Planner需要精细空间判断时（如"沙发前方是否有足够空间"），回退到视觉快照让VLM直接推理。

9.2 推荐的Planner消费接口

Planner应通过以下接口消费空间信息：

主接口：分层文本序列化。 将场景图序列化为层级JSON，参考SayPlan的collapse-expand机制实现按需展开。默认情况下只暴露room级别的拓扑结构和当前所在room的详细内容，Planner可以通过API调用展开其他room的内容。每个物体节点的序列化格式为：{id, category, description, spatial_relations: [{target, relation_type, direction, distance}], zone, room}。

辅助接口：相对空间查询API。 参考VLMaps的导航原语设计，封装一组空间查询函数：get_objects_in(room/zone)、get_relation(objA, objB)（返回方向和距离）、get_path_between(roomA, roomB)（返回拓扑路径）、get_nearest(category, reference_object)。

回退接口：视觉快照推理。 当文本序列化的空间信息不足以支持决策时，Planner可以请求调取特定区域的视觉快照，让VLM在图像上直接推理。

9.3 风险与注意事项

1. VLM空间认知能力的天花板（SPACE Benchmark）。 不能过度依赖VLM的空间推理能力。凡涉及"如果我在A处面向B，C在我的什么方向"这类推理，必须由专门的几何计算模块处理，不能委托给VLM。
2. 场景图的信息过载风险（HRON）。 HRON的实验表明：朴素引入场景图（无注意力机制）的SR（0.458）甚至低于不使用场景图（0.586）。务必配备任务驱动的注意力或过滤机制。
3. 感知质量的级联效应（ESCA）。 69%的失败来自感知错误——一个错误的物体检测会导致场景图中出现错误节点，进而导致错误的空间关系推断，最终导致规划失败。
4. 定量空间估计的不可靠性（SpatialVLM）。 VLM的距离估计仅37.2%在GT的半到两倍范围内。不要基于VLM的距离估计做精确运动控制。
5. LLM空间先验的局限性（SR-Nav在MP3D上的表现）。 当物体类别增多时LLM生成的空间关系先验质量会下降。需要设计先验置信度衰减机制。
6. 在线构建的实时性挑战。 真机部署时的计算延迟可能成为瓶颈。需要考虑采用异步更新策略。