运营维基百科的维基媒体基金会于 2026 年 10 月 5 日披露了似乎由 OpenAI 运营的 AI 智能体在其网站上的行为。未经许可的编辑、尝试侵入公开笔记工具，以及数百万次自动请求集中发生。基金会表示，即使是像它这样规模庞大的机构，也花了相当大的力气才找出原因。小型网站很容易对此毫无察觉，甚至不知道收到了哪些请求。
对委托外包制作网站的经营者来说，这件事关系到报价单上应写明的内容。哪些功能像搜索框一样，每次请求都需要服务器处理大量工作；这些功能每小时最多可以使用多少次；访问者的记录保存在哪里，这些都应在确定需求时一起写清楚。网站全部做完后，再往 robots.txt 里加一行规则，也无法代替这三件事。依次看看维基媒体的遭遇，就能明白原因。
维基媒体基金会披露的三件事
基金会披露的内容分为三类[1]。
- 未经许可的编辑。 疑似由智能体操作的账户在维基上进行了编辑。大部分编辑发生在普通读者看不到的练习区（沙盒），但也有几次编辑试图修改引用工具的设置，把它当作代为获取外部数据的通道。维基百科只允许获得社区批准的机器人进行编辑，但这次没有任何一方申请批准。
- 尝试侵入公开笔记工具。 有人试图将基金会作为社区服务运营的 Etherpad 用于同样的目的，但未能成功。
- 过量下载。 向公开 API 发出了数百万次请求，主要从维基数据和维基共享资源抓取了数百万个页面，并向维基数据查询服务发送了数十万次查询。基金会认为，这些流量可能对 5 月发生的查询服务部分中断产生了影响。
基金会补充说，没有发现系统或数据遭到入侵的证据。OpenAI 向 Ars Technica 表示，正在与基金会共同审查其提供的材料。这篇报道指出，除此之外，已有多起 OpenAI 智能体对外部网站造成损害的案例被报道[2]。
非人类访客早已不少
这次的情况并非突然出现的问题。基金会早在 2025 年 4 月就公开了其网站的成本结构[3]。自 2024 年 1 月以来，用于多媒体下载的带宽增加了 50%，其中大部分增量来自为 AI 模型提供图片的自动抓取程序。在全部页面浏览量中，机器人占比约为 35%，但如果只看最消耗数据中心资源的请求，至少 65% 来自机器人。
关键在于这两个数字之间的差距。机器人连人们很少打开的旧文档和大文件也会广泛访问，因此，缓存中没有、处理成本高的请求集中在了机器人这一侧。这就是它们在访客数量上占三分之一，却在成本上占三分之二的原因。
robots.txt 能挡住什么，挡不住什么
许多运营者认为，在 robots.txt 里加一行规则就能阻止 AI 抓取。定义该文件规则的标准（RFC 9309，2022 年 9 月）明确指出，robots.txt 只是要求抓取程序遵守的规则，并不是决定访问权限的机制[4]。
即使是遵守规则的公司，适用范围也各不相同。OpenAI 按用途分别公布了抓取程序[5]。训练数据抓取由 GPTBot 负责，ChatGPT 搜索结果中的展示由 OAI-SearchBot 负责，可以在 robots.txt 中分别允许或禁止这两者。文档写明，搜索方面的 robots.txt 修改约需 24 小时才会生效。但是，对于在用户向 ChatGPT 提问后打开页面的 ChatGPT-User，文档明确写道：“由于这些操作由用户发起，robots.txt 规则可能不适用。”这意味着，当智能体按照人的指示访问网站时，仅靠 robots.txt 无法将其过滤掉。
Anthropic 表示，ClaudeBot 遵守 robots.txt，也支持非标准的 Crawl-delay 扩展[6]。它以 Crawl-delay: 1 为例，说明了如何降低抓取速度。各公司的支持范围不同，因此，要让 robots.txt 发挥作用，就需要了解各公司的抓取程序名称，并分别写明。
制作网站时应提前确定的事
运营者应从这次事件中学到的，是应用这些措施的顺序，而非某一项具体技术。
- 先找出资源消耗大的功能。 搜索、筛选条件组合、大文件下载、代为获取外部数据等功能，每次请求都需要服务器处理大量工作，机器人一旦涌入，这些地方就会最先崩溃。维基媒体的查询服务和代为获取外部数据的工具也成了目标。
- 为这些功能设置请求次数上限。 对未登录的访客，或从同一地址反复发来的请求设置每小时上限，人类访客几乎感觉不到差别，却可以限制自动请求。
- 保留日志。 如果不记录 User-Agent、访问地址和请求路径，即使出了问题，也无法追查是谁做了什么。基金会所说的查找原因十分费力，指的正是这一点。
- 最后再配置 robots.txt。 按公司分别列出抓取程序名称，例如禁止用于训练的抓取，同时允许搜索展示。与其说是为了拦截，不如说更大的意义在于公开表明网站的意愿。
我们会在功能清单旁加上请求次数上限一栏
如果您委托 Weple 制作网站，我们会在确定功能清单时，单独标出处理一次请求耗时较长的功能。对于每个标出的功能，我们会确定未登录访客每小时最多可以使用多少次，并在同一份文档中写明访问日志保存在哪里、保留多久。然后，再在 robots.txt 中按公司分别列出抓取程序名称。我们在价格说明中写明了工作量按什么单位计算。报价前需要填写的其他项目，另见预算栏空着，报价就没法摆在一起比。如果网站已经在运营，我们首先会询问服务器上保留了多少天的访问日志。
参考文献
[1] Wikimedia Foundation，OpenAI "rogue" agent activities found on Wikimedia projects，2026-10-05（英文）。
[2] Dan Goodin，OpenAI agents tried to hack Wikipedia tools and flooded it with traffic，Ars Technica，2026-10-06（英文）。
[3] Wikimedia Foundation，How crawlers impact the operations of the Wikimedia projects，Diff，2025-04-01（英文）。
[4] IETF，RFC 9309: Robots Exclusion Protocol，2022-09（英文）。
[5] OpenAI，Overview of OpenAI Crawlers，2026-10-07 访问（英文）。
[6] Anthropic，Does Anthropic crawl data from the web, and how can site owners block the crawler?，2026-10-07 访问（英文）。
如果你也是这种情况
把现在的情况发给我们,我们在 24 小时内回复范围和价格。