评估指标影响标注饱和度，NLI模型需多少标注者？
标注者意见分歧本身携带信号，捕捉分歧所需人数取决于评估指标。研究在NLI任务上发现，熵相关指标需20-50个标注者才收敛，而KL散度在约10个标注者时已达饱和。
查看原文解读生成中或暂时不可用，请稍后刷新重试，或直接查看原文。
标注者意见分歧本身携带信号，捕捉分歧所需人数取决于评估指标。研究在NLI任务上发现，熵相关指标需20-50个标注者才收敛，而KL散度在约10个标注者时已达饱和。
查看原文