迈向多模态预训练的物理学：知识流动、模态协同、早期统一与配方

尽管视觉为推进基础模型提供了关键轴线，但模态在统一训练中的交互机制仍缺乏深入理解。本文通过对合成和大规模真实数据集的受控实验，揭示了多模态预训练的四个关键机制：知识流动、模态协同、早期统一与配方。

查看原文