Sol-Attn：通过实时注意力稀疏化加速视频生成推理

扩散Transformer是高质量视频生成的关键，但长序列使注意力计算成为推理瓶颈。无训练动态稀疏注意力通过仅计算选定key-value块来缓解瓶颈，但现有方法难以高效且准确地稀疏化注意力：固定分数选择导致预算僵化，而概率质量保留虽动态但可能不均衡。

查看原文