SPOT：在线策略蒸馏的稀疏探测与结果校准

在线策略蒸馏中，标准反向KL训练对合理延续分配概率可能不足，教师熵无法揭示不确定性分布，局部教师概率也无法预测下游表现。SPOT通过稀疏探测和结果校准解决这两个耦合决策问题。

查看原文