网站开始对 AI 智能体关门：机器人协议挡不住，那就上验证码和付费墙

各家都在承诺同一件事：agent 可以替你在网上跑腿，订餐厅、清空收件箱、买双鞋。现实是，这些 agent 到了网站上，被当成机器人拦在门外。

它既不是人，也不是爬虫

过去二十年，网站防抓取靠两层：看 IP 和 UA，看访问频率和行为路径。传统爬虫很容易被这两层认出来——它快、它只抓 HTML、它不点按钮。

agent 把这两层都搞乱了。它按人的节奏点按钮、填表单、走完结账流程，因为它就是在模拟人。但它又比人快得多，也笨得多：会在同一个下拉菜单里反复试二十次，会把「加入购物车」当成「立即购买」。按频率拦会误伤人，按行为拦又拦不住它。

于是站点退回到最原始的一层：你到底是不是人。验证码、登录墙、需要真人确认的二次验证，这些手段拦 agent 的效率意外地高——因为 agent 恰恰答不上「图中哪几格有红绿灯」这种问题，或者答得比人更像机器。

关门的经济动机

内容方这两年吃够了抓取的亏。广告按曝光卖、订阅按阅读卖，两者都建立在「真的有人看到」上。生成式引擎把内容嚼碎再吐出来，链接和广告都省了，这笔账没人愿意一直付。

电商那边是另一套担心：脚本扫空限量库存、批量比价、把促销价抓去做聚合站。

这周还有个插曲能说明敏感度。Meta 更新商用条款，被指其中有一段允许它抓取包括新闻站在内的内容来训练 AI，条款 10 月 30 日生效。舆论反弹之后，Meta 又把那段话删了。一家万亿市值的公司，在这条线上也要退。

反作用力也很清楚

agent 一旦被大面积拦下，「帮你订餐」的承诺就落不了地。用户不会怪网站，会怪 agent。

所以接下来大概率是两套并行：一套是给授权 agent 的通道——结构化 API、代理身份认证、按次付费的许可；一套是给未授权 agent 的门禁。前者做规模，后者做议价。

大平台已经在选边。Shopify 把 10 亿量级的商品目录向所有 agent 开放，不需要逐一谈合作；谷歌的 Universal Cart 在做跨店购物车，自动盯降价，赶在黑五前落地美国。它们用开放换流量和交易。中小站点没有这个筹码，只能用关门换谈判地位。

分层正在发生

开放互联网正在被重新分层，切分依据不是技术能力，是身份：你是人、是授权代理，还是未申报的自动化程序。

这件事的长期影响比「AI 能不能上网」大得多。如果 agent 只能进入少数几家愿意签协议的平台，那么「替用户跑腿」这件事最终会变成平台的特许业务——和当年应用商店对开发者的关系一样。眼下已经有两家大平台押了另一边：Shopify 向所有 agent 开放 10 亿商品目录，谷歌的 Universal Cart把跨店购物车做成了系统功能。