隐性时钟：扩散语言模型中的潜在时间建模

扩散语言模型（DLMs）作为自回归模型的有前景替代方案近来兴起。与标准扩散方法不同，DLMs 未显式依赖时间步条件。本文发现 DLMs 实际上在其残差流中编码了与扩散时间步相关的潜在表示，且这种信号可跨层通过探针可靠提取，表明去噪进度可被解码。

查看原文