Hugging Face 政策总监泼冷水：嵌入式评测员救不了 AI 安全评测

AI 实验室们的声誉现在押在一件事上：基准测试。 所谓中立、准确的评测体系，决定谁家模型更强。Hugging Face 首席政策官 Irene Solaiman 上周在 TechCrunch Disrupt 上泼了盆冷水：这套体系本身，还没长大。

评测这门科学还很嫩

Solaiman 的核心论点拆开是三层。第一，可复现性是信任的根基，而能不能复现很大程度取决于你能拿到模型内部的多少东西——“这就是开放权重意义重大的地方”。第二，评测之间没法比：“它们是一门演化中的科学，我们不知道怎么把它们有意义地互相比较”，而且“它们失效得非常快”。第三，现在行业缺的不是更多的评测，而是一个健康的评测生态。

嵌入式评测员的尴尬

过去几个月，实验室们热衷的方案是“嵌入式评测员”——把所谓中立第三方塞进 AI 公司内部监督安全。但这个方案的名声已经被消费得差不多了：Anthropic 请咨询巨头 Accenture 当首个嵌入式评测员，换来的是舆论群嘲——咨询公司凭什么评得动前沿模型？

Solaiman 提出的下一个难题更实质：评测的对象已经变了。今天要评的不只是模型，还有 harness（用户接入模型的工具层）和整个智能体。“一个弱模型配一个好 harness，轻松跑赢前沿模型。”而 agentic 评测“又难又贵”，行业在这个方向上的投入远远不够。

怎么办

她的答案不是唱衰，而是要标准：到底什么样的人有资格在什么任务上算“有效的评测员”，需要全行业先对齐。这番话的背景是过去几个月一长串安全事件——Hugging Face 自己就是受害者之一。评测这门生意（Arena 融资 2 亿美元估值 31 亿）越滚越大，而给它定规矩的人还没有出现。