质疑前沿模型在各类评估中的真实表现

事件本身：一句追问背后的行业焦虑

Chamath Palihapitiya（Social Capital 创始人、前 Facebook 高管）在 X 上发推质疑前沿模型在各类评估（benchmark）中的真实表现，并询问是否有现成数据支撑这一质疑。推文本身不完整，但核心论点清晰：当前前沿模型的评估成绩可能存在水分。

这不是孤立的质疑。2025-2026 年间，Anthropic、OpenAI、DeepSeek 等厂商轮流发布新模型刷新 SOTA，benchmark 分数不断攀升，但与此同时，开发者社区中关于「刷榜」（benchmark gaming）和「数据污染」（data contamination）的抱怨也在积累。

为什么这值得关注：评估体系的三重危机

第一重：厂商自评自测。主流模型发布时，基准测试往往由厂商自行选择数据集、自行运行评测，这与药品审批的「双盲对照」原则相悖。举一个具体例子：GPT-4o 发布时引用的 MMLU 分数，在后续社区复现中发现存在 prompt 泄露问题。

第二重：测试集污染。当模型训练数据中混入 benchmark 题目时（这在互联网语料中几乎不可避免），模型等于「开卷考试」。2024 年就有研究者发现多个模型