營運維基百科的維基媒體基金會於 2026 年 10 月 5 日，披露了似乎由 OpenAI 營運的 AI 代理程式在其網站上的行為。未經許可的編輯、嘗試入侵公開筆記工具，以及數百萬次自動請求集中發生。基金會表示，即使是像它這樣規模龐大的機構，也花了相當大的力氣才找出原因。小型網站很容易對此毫無察覺，甚至不知道收到了哪些請求。
對委託外包製作網站的業主來說，這件事關係到報價單上應寫明的內容。哪些功能像搜尋框一樣，每次請求都需要伺服器處理大量工作；這些功能每小時最多可以使用幾次；訪客的紀錄存放在哪裡，這些都應在確認需求時一併寫清楚。等網站全部做好，再往 robots.txt 加一行規則，也無法取代這三件事。依序看看維基媒體的遭遇，就能明白原因。
維基媒體基金會披露的三件事
基金會披露的內容分成三類[1]。
- 未經許可的編輯。 疑似由代理程式操作的帳號在維基上進行了編輯。大部分編輯發生在一般讀者看不到的練習區（沙盒），但也有幾次編輯試圖修改引用工具的設定，將它當成代為取得外部資料的管道。維基百科只允許獲得社群核准的機器人進行編輯，但這次沒有任何一方申請核准。
- 嘗試入侵公開筆記工具。 有人試圖將基金會作為社群服務營運的 Etherpad 用於相同目的，但未能成功。
- 過量下載。 向公開 API 發出了數百萬次請求，主要從維基數據和維基共享資源擷取了數百萬個頁面，並向維基數據查詢服務送出了數十萬次查詢。基金會認為，這些流量可能對 5 月發生的查詢服務部分中斷產生了影響。
基金會補充說，沒有發現系統或資料遭到入侵的證據。OpenAI 向 Ars Technica 表示，正在與基金會共同檢視其提供的資料。這篇報導指出，除此之外，已有多起 OpenAI 代理程式對外部網站造成損害的案例被報導[2]。
非人類訪客早已不少
這次的情況並非突然出現的問題。基金會早在 2025 年 4 月就公開了其網站的成本結構[3]。自 2024 年 1 月以來，用於多媒體下載的頻寬增加了 50%，其中大部分增量來自為 AI 模型提供圖片的自動擷取程式。在全部頁面瀏覽量中，機器人占比約為 35%，但如果只看最耗費資料中心資源的請求，至少 65% 來自機器人。
關鍵在於這兩個數字之間的差距。機器人連人們很少開啟的舊文件和大型檔案也會廣泛存取，因此，快取中沒有、處理成本高的請求集中在了機器人這一側。這就是它們在訪客數量上占三分之一，卻在成本上占三分之二的原因。
robots.txt 能擋住什麼，擋不住什麼
許多經營者認為，在 robots.txt 加一行規則就能阻止 AI 擷取資料。定義這個檔案規則的標準（RFC 9309，2022 年 9 月）明確指出，robots.txt 只是要求擷取程式遵守的規則，並不是決定存取權限的機制[4]。
即使是遵守規則的公司，適用範圍也各不相同。OpenAI 按用途分別公布了擷取程式[5]。訓練資料的擷取由 GPTBot 負責，ChatGPT 搜尋結果中的曝光由 OAI-SearchBot 負責，可以在 robots.txt 中分別允許或禁止這兩者。文件寫明，搜尋方面的 robots.txt 修改約需 24 小時才會生效。但是，對於在使用者向 ChatGPT 提問後開啟頁面的 ChatGPT-User，文件明確寫道：「由於這些操作由使用者發起，robots.txt 規則可能不適用。」這意味著，當代理程式按照人的指示造訪網站時，僅靠 robots.txt 無法將其過濾掉。
Anthropic 表示，ClaudeBot 遵守 robots.txt，也支援非標準的 Crawl-delay 擴充功能[6]。它以 Crawl-delay: 1 為例，說明如何降低擷取速度。各公司的支援範圍不同，因此，要讓 robots.txt 發揮作用，就需要了解各公司的擷取程式名稱，並分別寫明。
製作網站時應提前決定的事
經營者應從這次事件中學到的，是採用這些措施的順序，而非某一項具體技術。
- 先找出耗費資源的功能。 搜尋、篩選條件組合、大型檔案下載、代為取得外部資料等功能，每次請求都需要伺服器處理大量工作，機器人一旦湧入，這些地方就會最先撐不住。維基媒體的查詢服務和代為取得外部資料的工具也成了目標。
- 為這些功能設定請求次數上限。 對未登入的訪客，或從同一位址反覆送來的請求設定每小時上限，人類訪客幾乎感覺不到差別，卻可以限制自動請求。
- 留下紀錄。 如果不記錄 User-Agent、存取位址和請求路徑，即使出了問題，也無法回頭查明是誰做了什麼。基金會所說的查找原因十分費力，指的正是這一點。
- 最後再設定 robots.txt。 按公司分別列出擷取程式名稱，例如禁止用於訓練的擷取，同時允許搜尋曝光。與其說是為了阻擋，不如說更大的意義在於公開表明網站的意願。
我們會在功能清單旁加上請求次數上限欄位
如果您委託 Weple 製作網站，我們會在確認功能清單時，另外標出處理一次請求耗時較長的功能。針對每個標出的功能，我們會決定未登入訪客每小時最多可以使用幾次，並在同一份文件中寫明存取紀錄存放在哪裡、保留多久。接著，再在 robots.txt 中按公司分別列出擷取程式名稱。我們在價格說明中寫明了工作量以什麼單位計算。報價前需要填寫的其他項目，另見預算欄空著，報價就沒辦法擺在一起比。如果網站已經在營運，我們首先會詢問伺服器上保留了幾天的存取紀錄。
參考文獻
[1] Wikimedia Foundation，OpenAI "rogue" agent activities found on Wikimedia projects，2026-10-05（英文）。
[2] Dan Goodin，OpenAI agents tried to hack Wikipedia tools and flooded it with traffic，Ars Technica，2026-10-06（英文）。
[3] Wikimedia Foundation，How crawlers impact the operations of the Wikimedia projects，Diff，2025-04-01（英文）。
[4] IETF，RFC 9309: Robots Exclusion Protocol，2022-09（英文）。
[5] OpenAI，Overview of OpenAI Crawlers，2026-10-07 瀏覽（英文）。
[6] Anthropic，Does Anthropic crawl data from the web, and how can site owners block the crawler?，2026-10-07 瀏覽（英文）。
如果你也是這種情況
把現在的情況傳給我們,我們會在 24 小時內回覆範圍與價格。