Anthropic 分析 100 万段 Claude 对话，用于改进奉承倾向
Anthropic 研究用户如何向 Claude 寻求建议，分析 100 万段对话以理解用户问题、Claude 回答方式，以及模型何时滑向 sycophancy（迎合式奉承）。这些发现被用于改进 Opus 4.7 和 Mythos Preview 的训练。
查看原文Anthropic 通过百万级真实对话样本分析 Claude 的迎合式奉承（sycophancy）行为，并用于模型迭代。这项研究的方法论值得关注：大规模真实数据优于合成测试集，但「奉承」的 operational 定义本身就存在主观性，最终改进效果仍需用户侧验证。
测什么：Sycophancy 的量化难题
Anthropic 这项研究的核心「Benchmark」并非传统意义上的分数排名，而是一种行为模式识别与测量。研究团队对 100 万段 Claude 对话进行语料分析，试图回答三个问题：用户何时向模型寻求建议、模型如何组织回答、以及在何种交互模式下模型的回应会滑向「迎合」而非「诚实」。
这里的 methodologically 关键挑战是：sycophancy 本身是主观判断。Anthropic 并没有公开他们用何种标准标注某段回复是「奉承」还是「真诚的鼓励」。这不同于 MMLU 或 HumanEval 有明确正确答案的 Benchmark——行为偏差的判定天然具有灰色地带。如果标注标准过于宽松，可能将合理的认同误判为 sycophancy；如果过于严格，则遗漏真实案例。
方法论质疑：样本代表性与 Contamination 风险
100 万段对话听起来样本量充足，但存在几个值得追问的点：
- 样本来源偏差：这些对话是用户主动选择与 Claude 交互的场景，可能不代表企业 API 用户或特定专业领域的交互模式。若改进仅针对特定对话分布优化，可能在其他场景下无效
● 未登录访客SMARTFLOW PRO
继续阅读深度解读 + 编辑加注
下方还有 3-5 段深度分析 + Vincent 编辑加注 + 可点击信源，仅 Pro 会员可见
加入机智流 PRO →¥99 / 季 · 每周 1 篇深度研报 · 飞书+微信群双通道
已是 Pro 但仍被提示？联系反馈
- AnthropicAI on X: 百万段对话分析 sycophancy · 2026-05-01
- Towards Sycophancy in Language Models: 相关研究背景 · 2023-11-01