RT-2 / RT-2-X Google DeepMind · 2023

VLA 范式的首次系统化

在 RT-2 之前，机器人学界主要走两条路：

• RT-1（2022） 路线：视觉编码器（DeiT）→ Transformer policy → 动作回归，架构专为机器人设计
• 行为克隆 / GAIL 路线：从人类演示直接学策略，不显式用视觉-语言对齐

RT-2 第一次把"视觉理解、语言推理、动作执行"三个能力融合到一个文本-token-生成范式里，打通了视觉-语言大模型和机器人控制的边界。后续 π₀、OpenVLA、Wall-X、Qwen-VLA 等所有开源 VLA 工作都沿用了这个范式（虽然改进了架构和训练方法）。

动作 Token 离散化

RT-2 论文的关键技术细节：把连续动作空间（如 7-DOF 机械臂的关节角度）离散量化为 256 个整数 token（论文中的具体值），均匀分布在动作范围内。推理时 VLM 自回归吐出这些 token，机械臂的控制器解码回连续动作。这样做的好处是：

• VLM 的 cross-entropy loss 直接适用（不用改 loss 设计）
• 动作和文本 token 共享词汇表的后续部分 —— 同一个 embedding space
• 自回归生成序列的能力天然适配多步控制

缺点是离散化会带来量化误差；RT-2 论文通过加细致的 calibration 来处理。

两种 Backbone 规格

RT-2 论文报告测试了两个视觉语言模型规模：

两个模型都是从大规模 web 视觉-语言数据预训练得到，RT-2 在此基础上用机器人数据做 co-fine-tuning（保持多模态能力，添加动作生成能力）。

动作 Token 设计（离散化方案）

论文的核心设计：假设 7-DOF 机械臂控制，把每个关节的动作范围分成 256 个等距 bin，每个 bin 映射到一个整数 token（256~511，或论文指定的某个范围）。一次完整动作预测可能是 7 个 token（每个关节一个），或分多次自回归吐出。

• 量化误差：±0.5 bin width · 通过 calibration 数据测试确认对任务成功率的影响
• 多机器人支持：不同本体的动作维度不同（如双臂 14-DOF），论文通过数据混合 + 明确的 embodiment encoding 区分
• 自回归 vs 并行：论文未明确说是逐 token 自回归还是并行预测，实现细节待查

训练设置（Co-fine-tuning）

• 冻结 VLM 的视觉编码器部分，只训文本解码侧 + 新的动作 token 预测头
• 机器人数据混入 VLM 预训练数据中训练（不是纯机器人数据）
• Loss 是标准的 cross-entropy —— 既预测下一个文本 token，也预测下一个动作 token
• 保持 VLM 的多模态能力：论文报告的"emergent ability"（如 chain-of-thought reasoning）来自于混合训练

RT-2 论文一个核心声称是：大规模 VLM 在机器人数据 co-fine-tuning 后会展现一些非显式设计的泛化能力。论文报告的例子包括：

• Chain-of-Thought 推理：在给定带有多步说明的任务（"first pick up the red cup, then place it in the box"）时，模型可以分步骤执行，而非直接输出单一动作
• 符号理解：模型可以理解抽象指令（如"按照图中的箭头指向移动"），而不需要显式训练符号推理
• 多模态泛化：从 web 视觉-语言对齐学到的知识能迁移到机器人视觉任务

需要注意：这些"emergent ability"的具体定义和评估方法在论文里相对定性。不同研究组对这一点的复现结果有所不同。

数据集规模与多样性

Open X-Embodiment（简称 OXE）是 2023-10 发布的大规模多具身机器人数据集集合（项目页），汇聚了来自 Google、CMU、UC Berkeley、Stanford 等多家机构的真机轨迹。RT-2-X 就是在这个 OXE 数据集上训练的 RT-2。

• 具身数量：20+ 种不同的机器人本体（单臂、双臂、移动底盘等）
• 数据规模：未披露具体的轨迹数量或样本数
• 任务覆盖：从基础操纵（pick-and-place）到复杂交互

跨具身泛化的关键问题

RT-2-X 试图回答：训练数据的宽度（多具身）是否能解锁真正的 zero-shot 跨具身能力？ Open X-Embodiment 论文的核心贡献就是提出这个问题并给出初步答案（肯定的）。RT-2-X 作为评估的一部分，展示了在 OXE 上训练后相比单一机器人的模型有明显泛化收益。

具体的跨具身性能指标（如 zero-shot success rate on unseen embodiment）未在本页面核实到具体数字；论文中可能有详细分析。

RT-2 论文报告的测试方法

RT-2 和 RT-2-X 都是 Google DeepMind 的闭源模型，评测用的是 Google 内部的真机任务套件。论文未公开这些任务的完整定义，只在论文和 blog 中公示高层结果。公开的benchmark包括：

• 真机成功率：单臂 / 双臂具体操纵任务（如 block stacking、object rearrangement），成功率范围未具体列数字
• 泛化性测试：OOD 物体、新环境、新机器人的适应能力定性评估
• 与 RT-1 对比：论文表明 RT-2 在多数任务上显著超越 RT-1，但具体百分点未贴在本页

重要：RT-2 论文用的 benchmark 都是 Google 内部任务，社区无法独立复现这些分数。后续的 OpenVLA、π₀ 等开源模型才开始在 LIBERO、DOMINO 等公开 benchmark 上报数字。

与后续工作的对比

由于 RT-2/RT-2-X 的评测不在公开 benchmark 上，直接数值对比困难。但从架构和能力角度：

• vs OpenVLA：RT-2 用 VLM 直接回归，OpenVLA 采用同样的离散 token 思路但用开源模型（Llama-2）；OpenVLA 在 LIBERO 等公开 benchmark 上有分数
• vs π₀：π₀ 改用 flow-matching 连续动作生成（不是离散 token），架构差异较大
• vs Wall-X：Wall-X 是中国团队开源的更新方案，参数更紧凑（4B vs RT-2 的 12-55B），公开了 15 真机任务的平均进度分数

RT-2 和 RT-2-X 的权重从未开源。 Google 公开的只有论文、博客总结和 API 访问（部分用户）。这带来几个后果：

• 无法独立复现：社区研究者无法直接用 RT-2 权重做进一步研究或应用
• 难以继续微调：不同于 OpenVLA / Wall-X，无法针对特定机器人平台做 LoRA 或其他轻量微调
• 推动了开源竞争：RT-2 的成功激励了 OpenVLA、π₀ 等团队开源类似思路的模型

从这个角度，RT-2 的历史地位是「技术原点」而非「生产工具」。实际生产部署往往采用后续开源方案。

RT-2 论文未公开具体的训练成本（GPU-hour、TPU-hour、墙钟时间）或推理延迟指标。已知的信息：

• PaLI-X 55B 规模的 co-fine-tuning 需要显著的计算资源（Google 内部基础设施）
• PaLM-E 12B 规模相对紧凑，推理可能在单 GPU 上可行（未证实）
• 论文未报告真机实验的实时控制频率（如是否能达到 30 Hz 或更高）

后续开源工作（Wall-X 报告 15 Hz 实时控制）给了更多参考。

Discrete Action Token 范式被广泛沿用

RT-2 的离散动作 token 方案影响了 OpenVLA（FAST tokens）、早期 Wall-X 设计等。后来 π₀ 用 flow matching 替代离散化，但两个思路共存于 VLA 生态。

VLM 作为 backbone 成为共识

RT-2 验证了"大规模预训练 VLM + 机器人数据 co-fine-tuning = VLA"这条路线可行，直接影响了 Qwen-VLA、π₀ 等工作的架构选择。

多具身数据集的重要性凸显

RT-2-X 和 Open X-Embodiment 的联动，推动了后续大规模多具身数据集的建设（如 DROID、LEOR 等），成为当前开源 VLA 的标准训练数据来源。

• 闭源不可复现：无法独立验证论文声称的 emergent ability 或性能数字
• 内部 benchmark 难比较：公开的分数无法与后续开源模型在相同 benchmark 上对标
• 离散量化的精度问题：256-bin 离散化会损失连续动作的精细控制；后续工作有改进（flow matching、RVQ等）
• 计算成本未量化：55B 参数的 co-fine-tuning 成本巨大，但论文未详细披露，难以评估可复现性
• 真机数据有限：虽然用了 OXE，但 Google 内部收集的高质量真机轨迹占比不详，可能影响泛化上限