ForeTime-VLA: Causal Future-Token Distillation from a World Action Model for Conveyor-Belt Manipulation

视觉-语言-动作（VLA）策略通常只基于当前观测进行微调，这在物体静止时够用，但传送带抓取这类任务里目标位置和接触时机是动态变化的——策略需要提前预判接触事件（contact events）才能精确对齐姿态和时间窗口。世界动作模型（World Action Models, WAM）能学习预测性动力学，但如果在部署时真的跑一个视频尺度的教师模型、或显式"想象"出未来帧，延迟和算力代价都难以接受，这与实时具身控制的因果、低延迟约束直接冲突。

训练阶段（离线，特权信息）：冻结的 Wan2.2 视频 VAE 把当前帧和 8 个未来时间偏移的帧编码成 96 维特征；一个适配器结合 26 维机器人状态，把"教师编码器（看得到当前+未来+状态）"和"因果辅助编码器（只看当前+状态）"的表示对齐，压缩成一个白化（whitened）的 64 维"动作等价"目标向量。这个蒸馏目标融合了动作 MSE、未来 smooth-L1、教师-因果余弦对齐、方差/协方差正则和成对动作几何项。教师和 VAE 的计算全部只发生在训练期，缓存下来后部署时完全不再运行。

部署阶段（在线，因果）：一个 8 帧历史编码器（只用状态与辅助相机统计信息）预测出这个 64 维未来编码、一个 4 类操作阶段（phase）logit，以及归一化的"距转换时刻"（time-to-transition）。四个未来 token 加一个 phase token 被拼进 π0.5 的 VLM 前缀（慢路径），同时预测的未来表征和转换时域以 1024 维残差形式加到动作专家的后缀里（快路径，初始门控值 0.05）。整个新增模块只给 π0.5（Gemma-2B backbone + 3.11 亿参数动作专家）额外增加 125 万参数。

在 768 个匹配窗口的测试集上，40k 步 checkpoint 对比显示 Test MAE 从 0.134119 降到 0.130593（下降 2.63%，bootstrap 95% CI 约 0.82%–4.48%），Test L2 下降 3.02%，代价是推理延迟增加约 2.46%–2.93%。离线增益主要集中在末端执行器姿态（RPY）预测上。

在三种传送带速度的压力测试中，快速带速下 ForeTime-VLA 完成 11/30 次抓取，而 π0.5 基线只有 2/30；真机接触姿态类失败相对基线下降 57.1%。这说明未来感知带来的收益并非"锦上添花"，而是随任务动态性增强而放大——恰恰是静态基准最难体现、实际部署最需要的那类鲁棒性。

这篇论文解决的核心矛盾——预测性世界模型能力强但推理期跑不起，因果策略推理快但看不到未来——和全双工语音/duplex agent 面临的结构性张力是同构的：duplex agent 也需要在严格的实时延迟预算下（如 DuplexOmni 的 480ms 分片、DuplexWorld 的 200ms tick）做出接近"深思熟虑"质量的决策，不能在交互层里真的跑一次完整的深层推理。ForeTime-VLA 给出的解法路线——训练期用特权/离线的"看未来"教师产出压缩表征，蒸馏进一个轻量、纯因果的在线预测头，再以残差/token 形式注入主干——本质上是把"提前规划"转化成"当下可用的先验状态"，而不是转化成"在线推理更多步"。这对交互层如何在不违反实时性的前提下获得"预判"能力（例如预判用户何时说完话、何时该 barge-in）是一个可迁移的架构范式，值得在设计 duplex 系统的轻量在线预测模块时借鉴。