Saat Bot Membanjiri Situs, Kolom Pencarian Tumbang Lebih Dulu

Pada 5 Oktober 2026, Yayasan Wikimedia, yang mengelola Wikipedia, mengungkap aktivitas agen AI yang tampaknya dioperasikan oleh OpenAI di situs-situsnya. Penyuntingan tanpa izin, upaya membobol alat catatan publik, dan jutaan permintaan otomatis terjadi bersamaan. Yayasan menyatakan bahwa bahkan organisasi sebesar mereka harus mengerahkan banyak upaya untuk menemukan penyebabnya. Situs kecil bisa saja melewatkannya tanpa mengetahui jenis permintaan yang masuk.

Bagi pemilik usaha yang menyerahkan pembuatan situs kepada pihak luar, kejadian ini perlu masuk dalam pembahasan penawaran harga. Saat menyusun kebutuhan, perlu dicatat fitur apa saja yang membuat server bekerja berat untuk satu permintaan, seperti kolom pencarian, berapa kali fitur itu boleh digunakan per jam, dan di mana riwayat pengunjung akan disimpan. Menambahkan satu baris robots.txt setelah situs selesai dibuat tidak dapat menggantikan ketiga hal tersebut. Rangkaian kejadian yang dialami Wikimedia menunjukkan alasannya.

Tiga Hal yang Diungkap Yayasan Wikimedia

Yayasan mengungkap tiga jenis aktivitas[1].

• Penyuntingan tanpa izin. Akun yang tampaknya merupakan agen melakukan penyuntingan di wiki. Sebagian besar dilakukan di halaman percobaan (sandbox) yang tidak terlihat oleh pembaca umum, tetapi beberapa suntingan juga mencoba mengubah pengaturan alat sitasi agar dapat digunakan sebagai perantara untuk mengambil data eksternal. Bot hanya boleh menyunting Wikipedia setelah mendapat persetujuan komunitas, tetapi kali ini tidak ada yang meminta persetujuan.
• Upaya membobol alat catatan publik. Ada upaya menggunakan Etherpad, yang dikelola yayasan sebagai layanan untuk komunitas, dengan tujuan yang sama, tetapi upaya tersebut gagal.
• Pengunduhan berlebihan. Jutaan permintaan dikirim ke API publik untuk mengambil jutaan halaman secara otomatis, terutama dari Wikidata dan Wikimedia Commons, sementara ratusan ribu kueri dikirim ke layanan kueri Wikidata. Yayasan menilai lalu lintas ini mungkin turut menyebabkan gangguan sebagian pada layanan kueri pada bulan Mei.

Yayasan menambahkan bahwa tidak ditemukan bukti sistem atau data mereka telah dibobol. OpenAI menyampaikan kepada Ars Technica bahwa mereka sedang meninjau materi yang dibagikan yayasan bersama pihak yayasan. Artikel tersebut melaporkan bahwa selain kejadian ini, sudah ada sejumlah laporan lain tentang agen OpenAI yang menimbulkan kerugian pada situs eksternal[2].

Pengunjung yang Bukan Manusia Sudah Banyak

Masalah ini tidak muncul secara tiba-tiba. Yayasan sudah mengungkap struktur biaya situs-situsnya pada April 2025[3]. Sejak Januari 2024, bandwidth yang digunakan untuk mengunduh multimedia meningkat 50%, dan sebagian besar kenaikan itu berasal dari program pengumpulan data otomatis yang hendak memasok gambar untuk model AI. Bot menyumbang sekitar 35% dari seluruh tampilan halaman, tetapi jika hanya menghitung permintaan yang paling banyak menghabiskan sumber daya pusat data, setidaknya 65% berasal dari bot.

Perbedaan kedua angka itulah inti masalahnya. Bot mengakses secara merata dokumen lama yang jarang dibuka manusia hingga berkas besar, sehingga permintaan mahal yang tidak tersedia di cache terkonsentrasi pada bot. Itulah sebabnya bot hanya mencakup sepertiga pengunjung, tetapi menghabiskan dua pertiga biaya.

Apa yang Bisa dan Tidak Bisa Diblokir robots.txt

Banyak pengelola mengira satu baris robots.txt cukup untuk menghentikan pengumpulan data oleh AI. Standar yang menetapkan aturan berkas ini (RFC 9309, September 2022) menegaskan bahwa robots.txt hanyalah aturan yang meminta program pengumpul data untuk mematuhinya, bukan mekanisme untuk menentukan hak akses[4].

Bahkan perusahaan yang mematuhi aturan tersebut memiliki cakupan penerapan yang berbeda. OpenAI memublikasikan informasi tentang program pengumpul datanya berdasarkan tujuan penggunaan[5]. GPTBot menangani pengumpulan data untuk pelatihan, sedangkan OAI-SearchBot menangani kemunculan di pencarian ChatGPT, dan keduanya dapat diizinkan atau diblokir secara terpisah dalam robots.txt. Untuk pencarian, disebutkan bahwa perubahan robots.txt memerlukan sekitar 24 jam untuk diterapkan. Namun, untuk ChatGPT-User, yang membuka halaman ketika pengguna mengajukan pertanyaan kepada ChatGPT, dokumentasinya menyatakan secara tegas: "Karena tindakan ini dimulai oleh pengguna, aturan robots.txt mungkin tidak berlaku." Artinya, ketika agen berkunjung atas instruksi manusia, robots.txt saja tidak dapat menyaringnya.

Anthropic menyatakan bahwa ClaudeBot mematuhi robots.txt dan juga mendukung ekstensi Crawl-delay yang bukan bagian dari standar[6]. Perusahaan itu menjelaskan cara memperlambat pengumpulan data dengan contoh Crawl-delay: 1. Karena cakupan dukungan setiap perusahaan berbeda, agar robots.txt efektif, nama yang digunakan tiap perusahaan perlu diketahui dan dicantumkan secara terpisah.

Hal yang Perlu Ditetapkan sebelum Membuat Situs

Pelajaran yang perlu diambil pengelola dari kejadian ini adalah urutan penerapannya, bukan teknologi satu per satu.

1. Temukan bagian yang paling banyak menghabiskan sumber daya terlebih dahulu. Bagian yang membuat server bekerja berat untuk satu permintaan, seperti pencarian, kombinasi filter, pengunduhan berkas besar, dan fitur pengambilan data eksternal sebagai perantara, akan tumbang lebih dulu saat dibanjiri bot. Di Wikimedia pun, layanan kueri dan alat pengambilan data sebagai perantara menjadi sasaran.
2. Tetapkan batas jumlah permintaan pada bagian tersebut. Batas per jam untuk pengunjung yang belum masuk ke akun atau permintaan berulang dari alamat yang sama dapat membatasi permintaan otomatis tanpa banyak terasa oleh manusia.
3. Simpan log. Tanpa mencatat User-Agent, alamat koneksi, dan jalur permintaan, tidak mungkin menelusuri siapa melakukan apa ketika masalah muncul. Inilah bagian yang dimaksud yayasan saat menyatakan bahwa menemukan penyebabnya membutuhkan banyak upaya.
4. Atur robots.txt paling akhir. Cantumkan nama secara terpisah untuk tiap perusahaan, misalnya dengan memblokir pengumpulan data untuk pelatihan tetapi tetap mengizinkan kemunculan di pencarian. Nilainya lebih besar sebagai pernyataan terbuka tentang kehendak situs daripada sebagai pemblokir.

Kami Menambahkan Kolom Batas Permintaan di Samping Daftar Fitur

Saat Anda memesan pembuatan situs kepada Weple, kami menandai secara khusus fitur yang membutuhkan waktu lama untuk memproses satu permintaan ketika menyusun daftar fitur. Untuk setiap fitur yang ditandai, kami menetapkan berapa kali pengunjung yang belum masuk ke akun boleh menggunakannya per jam, lalu mencatat dalam dokumen yang sama di mana log akses disimpan dan berapa lama masa penyimpanannya. Setelah itu, kami mencantumkan nama secara terpisah untuk tiap perusahaan dalam robots.txt. Satuan yang kami gunakan untuk menghitung pekerjaan dijelaskan di halaman harga. Hal lain yang perlu diisi sebelum meminta penawaran harga kami jelaskan secara terpisah dalam Kolom Anggaran yang Dikosongkan Membuat Penawaran Sulit Dibandingkan. Untuk situs yang sudah beroperasi, pertanyaan pertama kami adalah berapa hari riwayat log akses yang masih tersimpan di server.

Referensi

[1] Wikimedia Foundation. OpenAI "rogue" agent activities found on Wikimedia projects. 2026-10-05 (dalam bahasa Inggris).

[2] Dan Goodin. OpenAI agents tried to hack Wikipedia tools and flooded it with traffic. Ars Technica, 2026-10-06 (dalam bahasa Inggris).

[3] Wikimedia Foundation. How crawlers impact the operations of the Wikimedia projects. Diff, 2025-04-01 (dalam bahasa Inggris).

[4] IETF. RFC 9309: Robots Exclusion Protocol. 2022-09 (dalam bahasa Inggris).

[5] OpenAI. Overview of OpenAI Crawlers. Diakses 2026-10-07 (dalam bahasa Inggris).

[6] Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?. Diakses 2026-10-07 (dalam bahasa Inggris).