一篇 2.6 万字博文引爆 AI 圈：“我们以前看错了神经网络”

“我想我有一个关于神经网络本质的好消息。”Goodfire 研究员 Nick Cammarata 一篇 2.6 万字的博文，以这样一句乐观的话开头，然后掀翻了半个 AI 圈。

他在说什么

可解释性领域的主流叙事一直是：神经网络训练出来是一团乱麻，概念被折叠进单个神经元（所谓“超叠”），想看懂它，得一点点解开这个结，而且可能永远解不完。Cammarata 曾是这套叙事的建立者之一——他在 OpenAI 时期参与开创了探查单个神经元的技术。但过去一年，他每天花 10 小时盯着神经元看，得出的结论是：结没那么乱，是我们看的方式不对。

他举的例子很具体。2020 年团队研究小模型 Inception v1 时，发现一个神经元同时对猫和汽车有反应，当年的解释是模型在让神经元“多任务”。现在 Cammarata 重新看同样的图片，五秒钟就反应过来：这些图像的共同点是 V 形——猫脸是 V，车的侧面轮廓也是 V。他又验证了一圈，台球桌角、新干线车头、消防船喷出的水柱都能激活这个神经元，而圆形的 O 会把它关掉。“模型把猫和车存在同一个地方，是因为在某种层面上它们长得一样。”他说自己“可能一直在误解整个神经网络”，甚至放话：如果给他十万年时间逐个电路看一个前沿模型，“很有希望搞出像样的理解”。

圈内泼的冷水

狂热随之而来——有研究者称“我对你是什么的理解像被一把推到了五年后”，还有人叫它“年度最重要 AI 论文”。但同行的声音冷得多。斯坦福的 Chris Potts 说这篇博文“在我看来没有任何东西让问题变得更容易”；对齐研究中心的 Jacob Hilton 提醒公众，人类对顶级 LLM 内部机制的理解不到 0.01%，光看神经元不够，得解释它们怎么连成电路；DeepMind 的 Neel Nanda 也认为“这不是对可解释性大局的重大更新”。Cammarata 自己倒是收着说的：“这不是无限的好消息，不是一切都解决了。”

有意思的是他自己给的反应过热找的原因：AI 安全社区太缺好消息了。“我真的很少听到乐观的声音。”这篇博文踩中的，也许不是科学的突破口，而是一种情绪的缺口。