世界模型

ORCA 三大部分组成： Encoder World Latent Representation Decoder 最终，模型输出的模态包括了文本，图像和动作。 数学模型 $$ S_{t+\Delta} \sim p_{\Theta} \left( S_{t+\Delta} \mid S_t, z_t, c_t \right), \quad \Delta \in \mathbb{Z}_{\neq 0}. $$ 尝试建立一个关于隐空间（latent world space）的状态$S_{t}$动力学传导概率分布$p_{\Theta}$ 决定该分布的因素： $z_{t}$:隐含的物理规律，或者我们至今尚未发现的规律，比较模糊。 $c_{t}$:明确的输入条件，例如人类指令等。 时间维度： $\Delta$:当$\Delta < 0$时，模型有能力回溯之前的状态；当$\Delta > 0$时，模型有能力对未来的状态做预测。 上面所有这些，都是在隐空间进行的操作，还需要预处理，对这些原始的信号进行编码，变为类似于token的统一编码信息。 Encoder（Orca 的关注点） 支持多模态输入：对于连续帧的大信息量视频数据，采用Unconcious learning的方法，模仿人类对于周围事物的连续变化的规律学习；Concious learning以语言输入的指令为学习语料，按照时间，根据语言输入的时刻，将视频数据做切分，制作成一些片段，在语言发生的时刻前后的一个时间段内的所有视频切片输入进去。 Unconcious learning 无意识学习：损失函数具体是什么样子，因为文章说是无监督学习，需要提出损失函数的具体组成。 学习： $$ S_{t+\Delta} \sim p_{\Theta} ^u\left( S_{t+\Delta} \mid S_t, z_t\right), \quad \Delta \in \mathbb{Z}_{\neq 0}. $$ 具体步骤： 利用一个VLM，将输入的$v_{t}$转为隐空间的预测状态$\hat{v}^l_{t+1}$。 实际的下一帧数据，$v_{t+1}$经过视频编码器（vision encoder）产生了$v^l_{t+1}$ 构造一个损失函数，将$\hat{v}^l_{t+1}$和$v^l_{t+1}$的差异作为损失，优化MLP模型，让VLM模型更能够预测下一个隐空间状态。 Observation-only state transition. This objective forms unconscious learning. Given $v_t$, Orca takes $v_t$ together with the <Query 1> $q_1$. The last-layer hidden state of $q_1$ is passed through two layers of MLP to predict $\hat v_{t+1}^l$. The ground truth $v_ {t+1}^l$ is obtained through the frozen vision encoder. Continuous videos provide dense supervision, allowing the model to capture naturally occurring world dynamics such as motion, occlusion, object interaction, and scene changes. Concious learning 有意识学习:是指在特定事件发生之后，关注该事件发生前后的数据，将这些数据切成特定的片段，自监督学习。 语言提供的条件事件是指： $$ c_{t}=e_{t+\Delta} $$ ...