Discrete Action Token 离散动作 token · VLA 早期范式
把连续机器人动作离散化成 token · 交给 LLM 自回归生成 · 一套 VLM 权重直接出控制信号
Discrete Action Token 是指这样一条动作表示方案：把机器人的连续动作空间（如 6-DoF 末端位姿 + 1 个 gripper 开度）先均匀量化或层次化离散为整数 token（类似文本 token），再让视觉语言模型（VLM）的自回归生成引擎直接输出这些 token，最后解码回连续动作供执行器使用。
这条路线的开山工作是 RT-2（Google DeepMind, 2023-07），它第一次把"视觉理解、语言推理、动作执行"三个能力融合到一个文本-token-生成范式里，奠定了 VLA（Vision-Language-Action）这个新领域的基础。后续 OpenVLA（Stanford 等，2024-06）改进了量化方案并发布了首个大规模开源实现。在 2024-2025 年间，随着 flow matching 等更精细的连续动作生成方案出现（π₀、Wall-X），discrete action token 从唯一主流渐渐成为"多条路线并存"中的一条。
核心思想：为什么要离散化
一个根本性的范式转变
在 RT-2 之前，机器人学常见的两条路线是：
- CNN/ViT + Policy Network： 视觉编码器 → 中间特征 → 专用策略网络 → 连续动作回归。模型架构为机器人"专制设计"，无法复用大规模预训练权重。
- 行为克隆 (Behavioral Cloning)： 从演示数据直接学策略，但缺乏跨域泛化能力；多数据源混合时表现下降。
RT-2 的关键洞察是：如果我们把动作也离散成 token，就可以让一个预训练的大规模 VLM 直接生成动作，而不需要重新设计模型架构。 VLM 本身在互联网规模的视觉-语言数据上学到的"理解能力"（semantics, reasoning, grounding）就能直接转移到机器人控制。
为什么离散化可行
关键发现是：机器人的动作精度需求往往不需要连续的无限精度。 比如，一个 7-DoF 机械臂的关节角速度范围通常是已知的（如 ±π rad/s），离散成 256 个均匀 bin 后，每个 bin 的量化误差是 ±(π/256) ≈ ±0.012 rad，对大多数操纵任务够用。
同时，离散化带来的好处是：
- 复用 LLM 训练栈： Cross-entropy loss 直接适用，不需要改损失函数或优化器。梯度、混合精度、分布式训练的所有基础设施无需修改。
- 共享词汇表空间： 动作 token 和文本 token 可以在同一个 embedding space 里，让"语言理解"和"动作生成"用同一套注意力参数相互影响。
- 自回归的天然优势： LLM 的自回归解码天然支持序列生成，多步动作预测无需额外设计。
核心技术细节
动作 Tokenization：Uniform Binning · RT-2 方案
RT-2（arXiv 2307.15818） 是最早的系统化实现。论文的做法很直接：
- 对每个动作维度（如 7-DoF 机械臂的 7 个关节），定义其活动范围（min-max）
- 在这个范围内均匀划分成 256 个 bin（bin 数似乎由论文实验确定，但未明确说明选择理由）
- 训练数据中的每个连续动作 value 映射到最近的 bin 编号（整数 token）
- 推理时，VLM 逐步预测每个维度的 bin 编号，解码模块将 bin 编号转换回连续值
量化误差控制： RT-2 论文通过后处理 calibration 和范围调整来控制离群值影响，确保量化误差 ≤ ±0.5 bin width。
限制： 用 min-max 确定范围时，如果训练数据中有离群值（比如某次演示里突然转到极限位置），会导致 bin 宽度过大、精度损失。
改进方案：Percentile-Based Binning · OpenVLA
OpenVLA（arXiv 2406.09246） 沿用离散 token 思路，但改进了 binning 策略：
- 用百分位数而非 min-max： 取训练数据的 1-99 百分位数作为范围边界，而不是绝对的最小/最大值
- 同样 256 bin： 同 RT-2 保持一致，便于对比
- 超出范围处理： 超出 1-99 百分位数的异常动作被夹到最近的 bin，而不是扩大整个范围
优点： 避免因单个离群值导致的范围扩大，保持 bin 宽度稳定，量化精度更一致。
映射到 Llama 词汇表的方式： OpenVLA 的一个关键设计选择是"覆盖 Llama-2 tokenizer 末尾 256 个最不常用的 token（编号 32000-32255）"用作动作 token。这样做的好处是：自然语言 token 和动作 token 共存于一个词汇表，标准的 cross-entropy loss 对两类都适用。
自回归生成与 Detokenization
推理过程分两步：
- 自回归生成： 给定观测（图像 + 任务指令），VLM 逐 token 生成动作序列。比如 7-DoF 臂可能生成 7 个连续 token，每个对应一个关节的 bin 编号。也可能多步自回归，一次生成 K 步的完整动作 chunk。
- Detokenization： 把生成的 bin 编号转换回连续值。比如 bin 编号是 128，范围 [min, max]，则实际动作值 = min + (128.5 / 256) * (max - min)（取 bin 中点）。
关键设计选择： OpenVLA 和 RT-2 都采用"逐维度独立生成"而非"全维度联合生成"。这意味着 7 个 bin 编号是按顺序一个一个预测的，而不是并行预测。这样做的好处是充分利用自回归的序列建模能力，但代价是生成延迟随动作维度增长（7-DoF 臂需要 7 步，可能需要 100+ ms）。
与 RT-2 的区别 · 几个具体数字
| 维度 | RT-2 (2023-07) | OpenVLA (2024-06) |
|---|---|---|
| Backbone | PaLI-X 55B 或 PaLM-E 12B | Llama-2 7B + SigLIP + DINOv2 |
| Tokenization | Uniform binning (min-max) · 256 bin | Percentile-based (1-99) · 256 bin |
| Vocabulary Mapping | 塞进 VLM 词汇表末尾（方式未详细说明） | 覆盖 Llama tokenizer 32000-32255 特殊 token |
| 训练数据规模 | Google 内部 + OXE 混合（具体数字未公开） | 970k 条真机轨迹（精选 OpenX 子集） |
| 训练成本 | 55B 规模的 co-fine-tuning（未公开 GPU-hour） | 64 × A100 · 14 天 = 21,500 A100-hours |
| 权重开源 | 否（闭源） | 是（HuggingFace openvla-7b） |
| 公开评测 benchmark | Google 内部任务（社区无法复现） | BridgeData V2、WidowX、LIBERO（社区可复现） |
后续 Tokenizer 演进：FAST 与 RVQ
FAST Tokenizer（Physical Intelligence & 开源社区，2024-2025）
背景： uniform/percentile binning 虽然简单，但在编码长轨迹时低效 —— 一个 50-step 的动作 chunk 要占 50 个 token，容易突破 LLM 上下文限制。
FAST 的做法（arXiv 2501.09747，Physical Intelligence）：
- 把动作 chunk 先用 DCT（离散余弦变换）压缩到频域
- 再用 BPE (Byte Pair Encoding) 进一步压缩，把 50 步压到 200-400 个 token（而非 350+ token）
- 结果：同样的动作序列长度，token 数量减少 20-40%，上下文压力降低
代表工作： π₀ 和 Wall-OSS-Fast 都在预训练阶段用 FAST tokenizer（见 Wall-X 页面 §2 产品线）。这条路线保持了"离散 token 自回归"的范式，但用更高效的编码。
Vision-Aligned RVQ（Wall-OSS-0.5，2026-05）
更激进的改进： 不再用无监督的 DCT+BPE，而是用 Residual Vector Quantization (RVQ) 加上"vision alignment"约束。
Wall-OSS-0.5 的做法（arXiv 2605.30877）：
- RVQ 是分层量化：第一层编码最显著的动作特征，第二层编码残差，以此类推
- "Vision-aligned" 指的是量化过程中加入视觉监督 —— 量化后的动作向量与视觉特征对齐，使得离散 token 在语义上更"符合"图像理解
- 结果：比 FAST 更紧凑（50 步可能只需 100-200 token），且离散 token 之间的语义结构更清晰
权衡： RVQ 的代价是需要视觉特征作为辅助监督，实现复杂度相对高；FAST 则更通用可移植。Wall-X 同时维护了"WALL-OSS-Fast"和"Wall-OSS-0.5"两条产品线，允许用户选择。
为什么现在又转向 Flow Matching
Discrete Token 的内在限制
经过 2023-2024 年的实践，VLA 社区发现离散 token 方案有几个难以解决的瓶颈：
- 精度损失积累： 离散化带来的量化误差虽然对粗操作（pick-and-place）可以接受，但对细粒度任务（毛巾折叠、绳索操作、精密装配）就成为瓶颈。多步预测时误差逐步累积。
- 上下文长度压力： 即便用 FAST 压缩，长轨迹仍然需要大量 token。一个 500 步的长程任务仍可能需要 2000+ token，与 LLM 的 context window 冲突。
- 多模态表达的局限： 离散 token 本质上是"贪心选择最近 bin"，无法表达连续的概率分布。虽然理论上可以用 temperature sampling 增加多样性，但实践中效果不如 diffusion/flow matching 的"平滑概率场"。
- 不可微的量化： Binning 和 detokenization 不可微，梯度无法直接流向连续动作空间。实际实现中往往绕过这一点（e.g. 用 straight-through estimator），但这不是 end-to-end 最优的。
Flow Matching 的优势（为什么 π₀ 和后续工作选择它）
Flow Matching（Liphardt et al. 2023）是一种连续生成模型，从 diffusion 演化而来但更稳定高效。应用到 VLA 时（π₀, Wall-OSS-Flow, Qwen-VLA）的做法是：
- 动作表示保持连续： 不离散化，直接在连续动作空间中工作
- 概率场模型： 学一个 velocity field v_θ(A, t | 观测)，把从高斯噪声出发的轨迹"流向"真实动作分布
- 多模态天然涌现： 同一观测下，flow 会学到多个"吸引子"（不同的正确做法），采样时自然产生多模态
- 梯度全通： 整个过程可微，动作空间的精细调整直接有梯度
- 推理加速： ODE 求解器（Euler、RK45）通常需要 10-50 步就能收敛，比 DDPM 的 100+ 步快得多
π₀ 论文（arXiv 2410.24164）的定量结论： 在折衣服、毛巾操作等长程细粒度任务上，flow matching 动作专家相比 discrete token 版本有显著性能提升（论文用定性成功率演示，但在多视角操纵子集上给出了量化对比）。
从 Discrete Token 到 Flow 的典范转移
时间线梳理：
- 2023-07： RT-2 发布，discrete action token 范式建立
- 2024-06： OpenVLA 改进 binning 策略，discrete token 方案达到成熟
- 2024-10： π₀ 发布，引入 flow matching 动作专家；宣布"flow matching 对长程任务更优"
- 2024-11： Wall-X 发布，提供 WALL-OSS-Flow 和 WALL-OSS-Fast 双选项
- 2025-04： π₀.₅ 升级，flow matching 成为主推方案，开世界泛化能力突破
- 2025-09（预测）： Discrete token 沦为"兼容选项"而非"主流"
但这不意味着 discrete token "死了"——对参数紧张、推理延迟要求苛刻的边缘场景（比如低功耗机器人），FAST 或 RVQ 离散化仍是合理选择。
优缺点对比
| 方面 | Discrete Action Token | Flow Matching | Diffusion Policy |
|---|---|---|---|
| 动作表示 | 离散 token (256 bin/维) | 连续向量 (ODE 流形) | 连续向量 (DDPM 去噪) |
| 精度 | 量化误差 ~±0.01-0.1 rad（任务相关） | 无量化损失，梯度全通 | 无量化损失，但去噪步数多 |
| 推理速度 | 快（逐 token，7-DoF 需 7 步） | 中等（ODE 求解 10-50 步） | 慢（DDIM 需 10-100 步） |
| 训练成本 | 低（直接 cross-entropy，梯度清晰） | 中等（ODE 积分有额外开销） | 中等（DDPM 加噪解码） |
| 多模态建模 | 需显式采样或多头输出 | 流场自然捕捉多峰分布 | 去噪轨迹自然多模态 |
| 细粒度控制 | 受限于 bin 分辨率 | 无限制，连续精细 | 无限制，连续精细 |
| LLM 兼容性 | 完全复用 LLM 训练栈 | 需要微调 LLM 尾层或新加 expert | 需要自定义 diffusion head |
| 代表工作 | RT-2, OpenVLA, Wall-OSS-Fast, FAST-π₀ | π₀, π₀.₅, Flow-Qwen-VLA, Wall-Flow | Diffusion Policy, iDP3, 大多数单臂论文 |
在 VLA 生态中的地位
为什么是 VLA 早期的主流
2023-2024 时期，discrete action token 是主流的三个原因：
- 工程简洁性： 不需要设计新的 loss、优化器、数据并行策略，直接复用 LLM 训练栈（DeepSpeed、FSDP、混合精度等）都开箱即用。
- 参数高效： 动作 token 只需覆盖词汇表末尾的少数位置，VLM backbone 可以完全冻结或低学习率微调，参数高效微调（LoRA）天然支持。
- 快速迭代： RT-2 证明了这条路可行后，OpenVLA、早期 π₀ 等快速跟进，形成了事实标准。工程团队可以相对快地从论文到可用系统。
为什么现在不再是唯一选项
随着 VLA 对性能要求上升（OpenVLA 发布后一年多，竞争者开始追求更高精度和更长任务），几个问题浮现：
- 性能天花板： 毛巾折叠、绳索操作等任务上，即便 OpenVLA + LoRA 微调也无法达到人类操作水平。discrete token 的精度损失是部分瓶颈。
- 工程可复现性提升： 到 2024 年底，flow matching 和 diffusion 的开源实现成熟度提升，从 VLM 加 flow expert 的模块化设计已被验证可行（π₀、Wall-X 都做到了）。工程复杂度不再是主要障碍。
- 具身数据规模跨越式增长： π₀ 公开的数据规模（10K 小时）远超 OpenVLA（970k 轨迹 ≈ 数千小时）。大数据让模型有空间去学更复杂的多模态，continuous action 的表达力差异才被拉开。
- 推理延迟从瓶颈变为次级： 早期 VLA 追求"20 Hz 实时"，discrete token 的快速推理优势突出。但随着边缘硬件升级（RTX 4090、TPU），flow matching 的 10-50 step 解算也足够实时（π₀ 在真机上实现了）。
具体应用案例
RT-2 的 Emergent Abilities
RT-2 论文（arXiv 2307.15818）强调了一些有趣的"涌现能力"，虽然评估相对定性：
- Chain-of-Thought 推理： 给定多步指令（"先拿红杯子，再放到盒子里"），模型在自回归过程中能逐步生成中间步骤的 token，暗示某种隐式规划能力
- 符号理解： 理解抽象指令如"按照图中的箭头指向移动"，即便训练数据中没见过该具体箭头
- 多模态迁移： 从网络视觉-语言数据学到的"红色"概念能直接应用到机器人视觉任务
这些能力的存在与成因在学术界还有争议 —— 可能一部分来自大规模预训练，一部分来自混合数据训练时 LLM 的稳定性。OpenVLA 论文未重点强调这些，而是聚焦于定量的多轴泛化测试。
OpenVLA 的数据高效微调
OpenVLA 论文（arXiv 2406.09246 §5.2）的一个关键实验是在新机器人系统上用极少示例数据微调：
| 设置 | 数据量 | 微调方法 | 成功率提升 |
|---|---|---|---|
| Franka Tabletop（未见机器人） | 50-500 条 demo | LoRA (rank=32, 1.4% 参数) | 5-20% → 50-80% |
| 同上 | 同上 | 全量 fine-tuning（对标） | 成功率相当 |
这说明 discrete token VLA 在参数高效微调上有天然优势：最后的词汇表映射层小而独立，LoRA 秩小就足够适配新机器人的动作空间。
与其他动作策略的一览表
| 策略路线 | 代表工作 | 首次发表 | 特点 | 当前活跃度 |
|---|---|---|---|---|
| Action Chunking Transformer (ACT) | ALOHA · Zhao et al. | 2023-04 | Encoder-Decoder · CVAE 多模态 · Temporal Ensembling | ⭐⭐⭐ 学术基线常用 |
| Discrete Action Token | RT-2, OpenVLA, Wall-OSS-Fast | 2023-07 | 离散化到 LLM 词汇表 · 自回归生成 · 参数高效 | ⭐⭐⭐ 生产落地主力 |
| Diffusion Policy | Chi et al. · iDP3 | 2023-06 | DDPM 去噪 · 连续多模态 · RHC 控制 | ⭐⭐⭐ 学术广泛采用 |
| Flow Matching | π₀, π₀.₅, Wall-OSS-Flow | 2024-10 | ODE 流场 · 更快推理 · 高精度 | ⭐⭐⭐⭐ 上升趋势 |
局限与未来
Discrete Token 方案的内在局限
- 精度 ceiling： 无论怎样改进 binning（percentile, RVQ, vision-aligned），本质上还是离散化。对需要 sub-millimeter 精度的精密装配任务（IC 芯片贴装等），不是首选。
- 长序列低效： 即便用 FAST 压缩到 200-400 token/chunk，仍然消耗 LLM context。对全天候长程任务（几小时的工作流），context 预算捉襟见肘。
- 跨域泛化的上限： OpenVLA 在网络知识驱动的"语义泛化"上不如 RT-2-X（因为没有大规模图文预训练共微调）。Discrete token 范式与 web-scale 知识蒸馏的兼容性是开放问题。
- 不可微的量化： 梯度需要绕过量化层（如 straight-through estimator），这不是 mathematically sound 的。理论上 flow matching 或 diffusion 的端到端可微是更洁净的。
未来方向
Discrete action token 作为一条技术路线的前景：
- 边缘推理专用： 在低功耗设备（树莓派、移动机器人主控）上，discrete token 的推理延迟优势仍有价值。可能分化出"边缘 VLA"专用方案。
- 混合方案： 学习如何在 discrete token 和 flow matching 之间动态切换 —— 粗动作用 discrete（快），细调用 flow（精）。
- 更好的量化理论： 可学的量化边界、自适应 bin 宽度等，让 discrete token 更接近连续精度上限。
- 压缩与知识蒸馏： 用 discrete token VLA 作为大模型的压缩对象，在保持可部署性前提下最大化性能。