四份机器人基础模型材料：ReMEmbR / X-Mobility / 综述 / NVIDIA 博客
评估日期：2026-11-06 来源：侃姐给的 4 个链接 + 我补查的 1 篇原论文与 arXiv 版本历史 关联：2026-11-06-causal-ai-ness.md（Pearl L1/L2/L3 判据）、2026-11-06-ai-engineering-chip-huyen.md（事实层/骨架层二分）
一句话判断
四个链接里只有一份值得真细读（X-Mobility，而且必须换成 v3）；另外三份加起来 40 分钟略读就够。它们不是四篇论文，是同一条 NVIDIA 机器人技术栈上、两套互不相通的「世界」——一套在模型权重里，一套在向量库里。
更需要先说的一件事：最能回答"这套东西到底行不行"的那篇原论文不在你给的链接里。 项目页的结果表只有图片（results.png、dataset_stats.png），博客一个数字都没有；我把 ReMEmbR 原论文 arXiv:2409.13682v1 补上并取回了全部表格数值。
0. 先纠正两个版本事实
| 材料 | 事实 | 影响 |
|---|---|---|
2312.07843v1 |
不是实验论文，是综述初稿。2023-12-13 提交，页面明写 Preliminary release. We are committed to further enhancing and updating this work，但到 2026-11 仍只有 v1，无 v2、无 journal-ref。15 位作者（Stanford / Princeton / DeepMind / UT Austin / NVIDIA / SJTU） |
作者承诺更新、3 年没更新；Table I 还在列 GPT-3 175B、CLIP 400M、DALL-E2 3.5B、PaLM-X 55B。事实层全过期 |
2410.17491v1 |
有 v2（2025-02-28）、v3（2025-07-22） | 我逐表比对了 v1/v3 的 HTML：章节 II-A~II-F、III、IV、V、VI 结构完全一致，Table I–IV 数字一致，唯一实质差别是 v3 新增 TABLE V: Benchmark on real robot（真机 4 组 10/10、8/9、8/9），原延迟表顺延为 Table VI，附录表顺延为 VII/VIII。→ 读 v3，理由不是方法更新，是它补上了 v1 缺的唯一一块真机定量证据 |
| ReMEmbR 项目页 / 博客 | 对应论文是 arXiv:2409.13682v1（2024-09-20，仅 v1）。项目页标 ICRA 2025，arXiv abs 页未列 journal-ref |
两份网页都不是论文，不能当评估依据 |
1. 四份分别是什么
| # | 链接 | 性质 | 时间 | 信息密度 | Verdict |
|---|---|---|---|---|---|
| 1 | arxiv.org/html/2312.07843v1 |
Foundation Models in Robotics: Applications, Challenges, and the Future，综述 | 2023-12 | 中；模型清单过期，挑战章节防腐 | 略读，只读 Section VI + VII |
| 2 | arxiv.org/html/2410.17491v1 |
X-Mobility: End-To-End Generalizable Navigation via World Modeling，NVIDIA 8 人（含 UC Berkeley 实习生） | 2024-10 v1 / 2025-07 v3 | 高；完整方法 + 消融 + 真机 + 边缘延迟 | 细读，但改读 v3 |
| 3 | nvidia-ai-iot.github.io/remembr |
ReMEmbR 项目页（ICRA 2025），5 位作者 NVIDIA / USC / UT Austin | 2024 | 低；结果只有图片，无数值 | 跳过（被博客 + 论文完全覆盖） |
| 4 | NVIDIA Developer Blog | Using Generative AI to Enable Robots to Reason and Act with ReMEmbR，Abrar Anwar / John Welsh / Yan Chang | 2024-09-23 | 中；工程细节比项目页多（MilvusDB、NanoLLM、WhisperTRT、/goal_pose、AMCL） |
略读 10 分钟 |
| 补 | arxiv.org/abs/2409.13682 |
ReMEmbR 原论文，NaVQA 数据集与全部实验数字 | 2024-09-20 | 高 | 细读方法与结果两节 |
2. 两条路线：同一个机器人，两套「世界」
四份材料里有 3 份出自 NVIDIA，且 X-Mobility 与 ReMEmbR 都跑在 Nova Carter + Jetson 上，共用 Isaac Sim / Isaac ROS / Nav2 / AMCL。但两者对「机器人怎么知道世界」的答案完全相反。
A. X-Mobility：模型内的隐式世界（权重里）
流程：Isaac Sim 合成数据 → DINOv2 图像编码（768 维）→ belief state（高斯 μ/σ + GRU history 1024 维）→ 两个解码头约束潜空间 → state predictor 预测未来状态 → action policy 出速度指令。
| 环节 | 具体做法 |
|---|---|
| 数据 | 4 个仓库环境，5Hz，Nav2 教师 100K 帧 + 随机动作 160K 帧；语义 7 类（Navigable / Forklift / Cone / Sign / Pallet / Fence / Background） |
| 世界模型 | State Estimation Network（s_t ~ N(μ,σ)，GRU 递推）+ State Prediction Network（不看观测，只用 history 与动作，用 KL 对齐 estimator） |
| 多头解码 | RGB 重建用 LDM（962M 参数）+ 语义分割用 StyleGAN（perspective view，不是 BEV，为抓堆叠障碍物） |
| 策略 | VectorNet 把局部 route 编成 64 维 → self-attention 融合 → MLP 输出 a∈ℝ^6 速度指令 + 可选 p∈ℝ^{5×2} 路径 |
| 两阶段训练 | ① 关掉策略网，用 off-policy 随机数据学动力学 100 epochs；② 开策略网，用 on-policy 教师数据再训 100 epochs。8×H100，batch 32，lr 1e-5 |
关键数字（Table III，闭环 100 runs）：
| 方法 | 仓库 SR | 仓库 WTT(s) | 仓库 AA(rad/s²) | 随机障碍 SR | 随机障碍 WTT | 随机障碍 AA |
|---|---|---|---|---|---|---|
| ROS Nav2（教师） | 58 | 68.41 | 0.606 | 34 | 74.94 | 0.391 |
| BC | 92 | 40.4 | 0.219 | 56 | 42.72 | 0.219 |
| MILE | 34 | 128.32 | 0.274 | 26 | 113.49 | 0.212 |
| X-Mobility | 96 | 37.7 | 0.206 | 68 | 40.21 | 0.186 |
三条消融比主表更有价值（随机障碍 SR 从 68 掉到多少）：
w/o History Tracking→ 16（最狠，说明"记住刚才"比"看懂现在"更决定泛化）w/o Semantic→ 36（但仓库场景 WTT 反而 33.7 < 37.7，作者自己承认可能对数据集里的特定场景过拟合）w/o Pretrain→ 44（160K 随机动作帧的价值全在 OOD 场景）
v3 新增的真机表（Table V，Jetson AGX Orin）：Single Obstacle Normal/Dark 均 10/10、AA 0.267；Multi Obstacles Normal 8/9、AA 0.205；Dark 8/9、AA 0.273。推理延迟 Table VI：Policy Only P50 38.6ms / P95 41.96ms / 594MB；加语义解码 55.55ms / 804MB。
它是什么样的世界模型：不生成画面给外人看，只在潜空间预测下一 belief state 再喂给策略。上一轮四阵营里，它最接近 LeCun JEPA 的"抽象表征里预测后果"，不是 Cosmos / Genie 那种"生成未来画面"。别被标题里的 World Modeling 带去和 Cosmos 3 对比。
B. ReMEmbR：模型外的显式记忆（向量库里）
流程：先建 occupancy grid map（3D LiDAR + AMCL）→ 边走边把视频切成 3 秒一段 → VILA 生成 caption → 嵌入 + 位置 + 时间戳写库 → 用户提问 → LLM agent 最多 3 轮迭代检索 → 输出 JSON 坐标 → 发布 /goal_pose → Nav2 规划。
| 环节 | 具体做法 |
|---|---|
| Memory building | VILA1.5-13b，每 3 秒 6 帧（2 FPS，VILA 上限） → caption → mxbai-embed-large-v1 嵌入 → 连 (x,y,z) 与时间戳存入向量库（博客才给名字：MilvusDB，论文只写 vector database V） |
| Querying | LLM agent 当状态机，最多 3 轮；可调用 3 个检索函数：f_l(object) 文本、f_p((x,y,z)) 位置、f_t("HH:MM:SS") 时间；输出 JSON（text / position / time / duration） |
| 后端 | 实验用 GPT-4o / Codestral / Command-R / Llama3.1:8b；博客说可换 NVIDIA NIM、本地 LLM 或 OpenAI API |
| 边缘部署 | VILA-3b 量化后跑在 Jetson Orin 32GB（断网也能建库，NanoLLM 做量化推理）；WhisperTRT 做语音输入 |
| NaVQA | CODa 23 条序列选 7 条，每条抽 10 short + 10 medium + 10 long，5 位标注者，共 210 问；Short <2min / Medium 2–7 / Long >7；空间答案 15 米内算对，时间 2 分钟内算对 |
关键数字（Table I，Long 视频）：
| 方法 | 描述准确率 ↑ | 位置误差(m) ↓ | 时间误差(s) ↓ |
|---|---|---|---|
| ReMEmbR + GPT-4o | 0.65±0.5 | 46.25±59.6 | 3.6±5.9 |
| 全 caption 塞给 GPT-4o | 0.55±0.5 | 56.0±61.7 | 8.0±6.7 |
| 多帧 VLM GPT-4o | ✗（中/长视频放不下） | ✗ | ✗ |
延迟：ReMEmbR 在 21.5 分钟视频约 25 秒/问，且"耗时与视频时长基本无关"；VLM 在更短的 5.5 分钟视频就要 90 秒/问。开源 LLM 明显更弱（Codestral 的 Long 位置误差 212.4m），原因不是不会调函数，是时空算术推理不行。
消融（Table II，Overall Correctness Short/Medium/Long）：默认 3 秒 caption 0.72 / 0.56 / 0.61 → 12 秒 caption 0.54 / 0.50 / 0.38 → 只检索 1 轮 0.67 / 0.48 / 0.50 → 换 VILA1.5-3b 0.60 / 0.58 / 0.50（掉得少，所以能上机器人）。
最有教学价值的失败案例：问"带我去汽水机"，机器人去了饮水机——量化 3B VILA 把饮水机 caption 成 silver machine，语义相似直接变成错误的 /goal_pose。项目页也承认常混淆 soda machines 与 water fountains。
论文自陈的三条局限：① NaVQA 假设每题唯一答案，真实部署常有多个合理答案；② 记忆只靠 video captioning，房间号、设备标签等空间信息没用上（作者想接 semantic maps / scene graphs 作为新的 function call）；③ 重复信息不断写进向量库，会稀释有用记忆。
3. 接上一轮：这四份在「世界模型」光谱里的位置
沿用 Pearl 因果阶梯 L1 关联 → L2 干预 → L3 反事实：
| 系统 | 层级 | 判据 |
|---|---|---|
| ReMEmbR | 纯 L1，连预测都没有 | 它是外部检索索引，把 时间 / 位置 / 文本 显式化 → 可审计、可追溯、可写回 |
| X-Mobility | L1 预测型，摸到 L2 边缘 | 有 T(s',s,a)=Pr(s'|s,a) 和"预测行动后果"，但这是模型内部转移概率；动作来自模仿 Nav2 的条件变量，不是 do(a)，没有外生设定、没切断父节点。正是上一轮说的 action-conditioned ≠ intervention |
| 两者共同 | 都没有 SCM、没有可识别性、没有反事实 | 也都没有回答"环境变了哪些机制仍成立" |
一句最有用的话：NVIDIA 自己就同时押了两套互不相通的「世界」——一套在权重里（能预测未来，不可审计），一套在向量库里（可查询，不预测未来）。你 FDE 路线图里「验证资产 / 受控写回」那层要的是后者 + 显式因果结构；纯预测型世界模型进不了验收表，因为它答不了"我改了 X 会怎样"和"失败时追溯哪一环"。
ReMEmbR 的汽水机事故，是「关联层 ≠ 干预层」的实体版：caption 靠语义相似而非对象身份，错一步直接落成错误动作目标。讲 workshop 时比 Pearl 公式好用得多。
4. 时效评估：老的是哪一层
| 材料 | 已过期的层 | 没过期的层 |
|---|---|---|
| 综述 2312.07843 | 模型清单、参数表、benchmark、GPT-3/CLIP/DALL-E2/PaLM-E 时代的具体方法 | 五大挑战：数据稀缺、高变异、不确定性量化、安全评估、实时性；加 VI-H 可复现性。尤其 VI-D3（calibration 要区分 Frequentist 与 Bayesian，别拿贝叶斯不确定性当安全保证）、VI-E1/E2（部署前测试 + 运行时 OOD 监测 + 兜底策略）、VI-B（云依赖必须有本地 classical autonomy 兜底）。2026 年做企业交付反而更该读 |
| X-Mobility | 无，DINOv2 / Isaac Sim / Jetson 栈仍有效 | 但「world model」词义已被 Cosmos 3 / Genie 3 抬走，读时须翻译成「导航潜状态预测器」 |
| ReMEmbR | GPT-4o / VILA1.5 / Milvus 具体版本 | 架构模式没过期：分段 caption → 时空索引 → agent 迭代检索 → 结构化坐标输出，是「物理世界 RAG」的原型 |
这跟《AI Engineering》那本同构：事实层烂了，骨架层防腐。你的"过时感"如果来自翻模型清单，那是翻错层了。
5. 阅读分级（直接照做）
| 档 | 材料 | 时间 | 具体读哪 |
|---|---|---|---|
| 细读 ① | X-Mobility 2410.17491v3（不是 v1） |
40–60 分钟 | II-A 问题形式、II-B/C/D 状态估计与预测、II-E 策略、II-F 两阶段训练；III-A 数据配方；IV-B 三条消融；V-A 真机表；Table III / V / VI。跳过附录超参表、RGB diffuser 细节 |
| 细读 ② | ReMEmbR 原论文 2409.13682v1（补的） |
30 分钟 | 只读方法章（3 个检索函数 + 3 轮循环）、Table I / Table II、Limitations 三节、汽水机失败案例 |
| 略读 ③ | NVIDIA 博客 | 10 分钟 | 只读 Building a smarter memory、ReMEmbR agent、Deploying on a real robot 四步。它比项目页多给 MilvusDB / NanoLLM / WhisperTRT / /goal_pose / AMCL |
| 略读 ④ | 综述 2312.07843v1 |
15 分钟 | 只读 Section VI + VII Conclusion；重点 VI-D3、VI-E1/E2、VI-H。Section II–V 与 Table I 全跳 |
| 跳过 | ReMEmbR 项目页 / X-Mobility v1 / 综述所有模型参数表 | — | 被上面完全覆盖 |
只有 1 小时的最短路线：v3 的 II-A + IV-B 消融 + V-A 真机表（25 分钟）→ ReMEmbR 论文 Table I/II + Limitations（20 分钟）→ 博客部署四步（10 分钟）。这三块就是全部可复用的东西。
6. 可直接搬走的清单
审「世界模型 / 记忆」类供应商的 6 问
- 你的「世界」存在权重里，还是可查询的库里？能不能导出、能不能审计？
- 预测的是画面、潜状态，还是可写回的结构化变量？
- 动作是外生设定的
do(a)，还是数据里的条件变量？ - 环境变了（换产线 / 换光照 / 换本体），哪部分不用重训？X-Mobility 的答案是仓库 96% → 随机障碍 68%，这个下滑幅度本身就是验收指标
- 失败能不能追溯？ReMEmbR 能追到 caption
silver machine；X-Mobility 只能看 attention 图 - 断网 / 边缘算力下的兜底？综述 VI-B 明确要求本地 classical autonomy fallback；X-Mobility 给了 38.6ms / 594MB 的硬数可作参照
给 FDE 路线图的落点
X-Mobility 的「off-policy 学动力学 / on-policy 学策略」两阶段，可平移成制造业的「先用无标签历史数据学产线动力学，再用少量专家操作学决策」——这是这批材料里唯一能直接换成业务语言的方法论。但它的 latent state 不可解释，所以必须配 ReMEmbR 式的显式时空索引做审计层：预测在权重里，账本在库里。
7. 三个别引用的数字（我的批注）
- (a) X-Mobility 的
96%是仓库仿真 + 100 runs；v3 真机一共只有10/10 + 10/10 + 8/9 + 8/9共 38 次。别把 96% 当真机指标对外讲。 - (b) ReMEmbR Long 位置误差
46.25±59.6 m，标准差比均值还大，而判对阈值是 15 米；论文自己说 Table I 的 Medium 分组 incomplete。这组数字支撑"优于 baseline"可以，支撑"能用于导航"不够。 - (c) 两篇都严重依赖外部教师（Nav2 / GPT-4o），不是模型自主学到的世界知识。X-Mobility 超越教师、ReMEmbR 超越全 caption baseline，本质都是检索/记忆结构带来的工程增益，不是世界理解能力的突破。
8. 资源
| 材料 | 链接 |
|---|---|
| 综述 v1 | https://arxiv.org/abs/2312.07843 · https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models |
| X-Mobility v3 | https://arxiv.org/html/2410.17491v3 · https://nvlabs.github.io/X-MOBILITY |
| ReMEmbR 原论文 | https://arxiv.org/abs/2409.13682 · https://arxiv.org/html/2409.13682v1 |
| ReMEmbR 代码 / 项目页 / 博客 | https://github.com/NVIDIA-AI-IOT/remembr · https://nvidia-ai-iot.github.io/remembr/ · https://developer.nvidia.com/blog/using-generative-ai-to-enable-robots-to-reason-and-act-with-remembr/ |
| 依赖栈 | Isaac Sim、Isaac ROS、Nav2、AMCL、Nova Carter、Jetson AGX Orin、VILA、NVIDIA NIM、WhisperTRT、MilvusDB、mxbai-embed-large-v1 |
待办（累积区）
- 把三本书 + 这批论文合成一份「制造业世界模型」讲解页：问题 4 问 → 评测流水线三步 → 从预测到干预 4 问 → 本笔记的供应商 6 问。讲 workshop 时可直接做。