ORCA

三大部分组成：

  1. Encoder
  2. World Latent Representation
  3. Decoder

最终，模型输出的模态包括了文本，图像和动作。

数学模型

$$ S_{t+\Delta} \sim p_{\Theta} \left( S_{t+\Delta} \mid S_t, z_t, c_t \right), \quad \Delta \in \mathbb{Z}_{\neq 0}. $$

尝试建立一个关于隐空间（latent world space）的状态$S_{t}$动力学传导概率分布$p_{\Theta}$

决定该分布的因素：

  • $z_{t}$:隐含的物理规律，或者我们至今尚未发现的规律，比较模糊。
  • $c_{t}$:明确的输入条件，例如人类指令等。 时间维度：
  • $\Delta$:当$\Delta < 0$时，模型有能力回溯之前的状态；当$\Delta > 0$时，模型有能力对未来的状态做预测。 上面所有这些，都是在隐空间进行的操作，还需要预处理，对这些原始的信号进行编码，变为类似于token的统一编码信息。

Encoder（Orca 的关注点）

支持多模态输入：对于连续帧的大信息量视频数据，采用Unconcious learning的方法，模仿人类对于周围事物的连续变化的规律学习；Concious learning以语言输入的指令为学习语料，按照时间，根据语言输入的时刻，将视频数据做切分，制作成一些片段，在语言发生的时刻前后的一个时间段内的所有视频切片输入进去。

Unconcious learning

无意识学习：损失函数具体是什么样子，因为文章说是无监督学习，需要提出损失函数的具体组成。 学习： $$ S_{t+\Delta} \sim p_{\Theta} ^u\left( S_{t+\Delta} \mid S_t, z_t\right), \quad \Delta \in \mathbb{Z}_{\neq 0}. $$

具体步骤：

  1. 利用一个VLM，将输入的$v_{t}$转为隐空间的预测状态$\hat{v}^l_{t+1}$。
  2. 实际的下一帧数据，$v_{t+1}$经过视频编码器（vision encoder）产生了$v^l_{t+1}$
  3. 构造一个损失函数，将$\hat{v}^l_{t+1}$和$v^l_{t+1}$的差异作为损失，优化MLP模型，让VLM模型更能够预测下一个隐空间状态。
  1. Observation-only state transition. This objective forms unconscious learning. Given $v_t$, Orca takes $v_t$ together with the <Query 1> $q_1$. The last-layer hidden state of $q_1$ is passed through two layers of MLP to predict $\hat v_{t+1}^l$. The ground truth $v_ {t+1}^l$ is obtained through the frozen vision encoder. Continuous videos provide dense supervision, allowing the model to capture naturally occurring world dynamics such as motion, occlusion, object interaction, and scene changes.

Concious learning

有意识学习:是指在特定事件发生之后，关注该事件发生前后的数据，将这些数据切成特定的片段，自监督学习。 语言提供的条件事件是指： $$ c_{t}=e_{t+\Delta} $$

采用teacher forcing 训练技术，利用隐空间的$v^l_{t+1}$作为真值，在条件为$e_{t+\Delta}$下，强化预测$\hat{v}^l_{t+1}$接近真值。

总损失函数

$$ \mathcal{L} = \lambda _{\text{obs}} \mathcal{L} _{\text{obs}} + \lambda _{\text{evt}} \mathcal{L} _{\text{evt}} + \lambda _{\text{vqa}} \mathcal{L} _{\text{vqa}} $$

Training

Pre-Training

Post-Training

后训练的时候，需要冻结World Latent Representation 模型（Backbone 模型）：去考察下游在使用该隐空间表征之后，泛化性有多好。后训练的参数更新网络包含了图中火苗部分。 重点看一下Action Expert: DiT-based with flow-macthing. 输入：

  • Noisy action + Time
  • Proprioception – 我理解就是环境信息：obs

输出：

  • Action Chunck:机械臂可执行的动作指令

Limitation

  • 受限制的信号模态
  • 多模态数据的定义，从时间维度（秒还是毫秒，例如视觉的变化就是秒级，力的变化就是毫秒级），每一种模态在时间上，空间上，或者更深刻的因果推理上如何建立连接。
  • 模型的大小，4B
  • 分钟级的短时程自监督学习，无法解决小时级，天级更长时程的问题。

总结

整体感觉下来，该论文还是处于一个很前期的探索阶段，大致提供了一种范式：以latent space为构建核心的，将预训练和后训练结合起来的，解决多模态数据处理预测问题的框架。这和杨立昆提出的JEPA架构核心都是一致的，希望在隐空间中学习到世界的运行规律，而不依赖具体的数据和模态。 亮点我觉得是潜意识学习和主动学习两种方式。