将转录策略作为潜在变量:激活可控的逐字ASR与词级时间对齐
现代ASR模型在异质标注数据上训练时,转录风格(逐字vs意译)作为未控潜在变量,导致解码不稳定和评估混淆(高达60%的WER归因于风格不匹配)。研究表明模型已编码两种风格,关键在于可控激活。通过在并行逐字/意译转录对上训练覆盖感知解码器任务token,即使仅英语训练也能将德语非流利检测F1从10%提升至79%零样本迁移。
查看原文解读生成中或暂时不可用,请稍后刷新重试,或直接查看原文。
现代ASR模型在异质标注数据上训练时,转录风格(逐字vs意译)作为未控潜在变量,导致解码不稳定和评估混淆(高达60%的WER归因于风格不匹配)。研究表明模型已编码两种风格,关键在于可控激活。通过在并行逐字/意译转录对上训练覆盖感知解码器任务token,即使仅英语训练也能将德语非流利检测F1从10%提升至79%零样本迁移。
查看原文