层次化地标稀疏注意力的正确实现：迈向无限上下文建模

层次化地标稀疏注意力通过端到端学习分块选择，实现高效长上下文语言建模，在达到全注意力性能的同时可外推到训练上下文长度之外。

查看原文