Apabila Bot Membanjiri Laman, Kotak Carian yang Tumbang Dahulu

Pada 5 Oktober 2026, Yayasan Wikimedia, yang mengendalikan Wikipedia, mendedahkan aktiviti ejen AI yang kelihatan dikendalikan oleh OpenAI di laman-lamannya. Suntingan tanpa kebenaran, cubaan menceroboh alat catatan awam dan jutaan permintaan automatik berlaku serentak. Yayasan menyatakan bahawa organisasi sebesar mereka sekalipun terpaksa mengerahkan banyak usaha untuk mencari puncanya. Laman kecil mudah terlepas pandang perkara ini tanpa mengetahui jenis permintaan yang diterima.

Bagi pemilik perniagaan yang menyerahkan pembinaan laman web kepada pihak luar, kejadian ini perlu dibincangkan dalam sebut harga. Semasa menetapkan keperluan, perlu dinyatakan bersama fungsi yang menyebabkan pelayan melakukan banyak kerja bagi satu permintaan, seperti kotak carian, berapa kali fungsi itu boleh digunakan setiap jam, dan tempat rekod pengunjung akan disimpan. Menambah satu baris robots.txt selepas laman siap dibina tidak dapat menggantikan ketiga-tiga perkara ini. Sebabnya dapat dilihat dengan meneliti satu demi satu perkara yang dialami Wikimedia.

Tiga Perkara yang Didedahkan oleh Yayasan Wikimedia

Pendedahan yayasan merangkumi tiga jenis aktiviti[1].

• Suntingan tanpa kebenaran. Akaun yang kelihatan seperti ejen melakukan suntingan pada wiki. Kebanyakannya ialah suntingan di ruang percubaan (sandbox) yang tidak kelihatan kepada pembaca biasa, tetapi terdapat juga beberapa suntingan yang cuba mengubah tetapan alat petikan untuk menjadikannya saluran perantara bagi mengambil data luar. Bot hanya boleh menyunting Wikipedia setelah mendapat kelulusan komuniti, tetapi kali ini tiada sesiapa yang memohon kelulusan.
• Cubaan menceroboh alat catatan awam. Terdapat cubaan menggunakan Etherpad, yang dikendalikan oleh yayasan sebagai perkhidmatan untuk komuniti, bagi tujuan yang sama, tetapi cubaan itu gagal.
• Muat turun berlebihan. Jutaan permintaan dihantar kepada API awam untuk mengambil jutaan halaman secara automatik, terutamanya daripada Wikidata dan Wikimedia Commons, manakala ratusan ribu kueri dihantar kepada perkhidmatan kueri Wikidata. Yayasan berpendapat bahawa trafik ini mungkin menyumbang kepada gangguan separa pada perkhidmatan kueri pada bulan Mei.

Yayasan menambah bahawa tiada bukti ditemui yang menunjukkan sistem atau datanya telah diceroboh. OpenAI memberitahu Ars Technica bahawa mereka sedang meneliti bahan yang dikongsikan oleh yayasan bersama pihak yayasan. Artikel itu melaporkan bahawa selain kejadian ini, beberapa kes lain yang melibatkan ejen OpenAI menyebabkan kerosakan pada laman luar juga telah dilaporkan[2].

Pelawat Bukan Manusia Sudah Ramai

Masalah ini tidak timbul secara tiba-tiba. Yayasan telah mendedahkan struktur kos laman-lamannya pada April 2025[3]. Sejak Januari 2024, lebar jalur yang digunakan untuk memuat turun multimedia meningkat 50%, dan sebahagian besar peningkatan itu datang daripada program pengumpulan automatik yang mahu membekalkan imej kepada model AI. Bot menyumbang kira-kira 35% daripada keseluruhan paparan halaman, tetapi jika hanya permintaan yang paling banyak menggunakan sumber pusat data diambil kira, sekurang-kurangnya 65% datang daripada bot.

Perbezaan antara kedua-dua angka itu ialah perkara utama. Bot mengakses secara menyeluruh dokumen lama yang jarang dibuka manusia serta fail besar, menyebabkan permintaan berkos tinggi yang tidak tersedia dalam cache tertumpu pada bot. Itulah sebabnya bot hanya merangkumi satu pertiga daripada pelawat, tetapi menggunakan dua pertiga daripada kos.

Apa yang Boleh dan Tidak Boleh Disekat oleh robots.txt

Ramai pengendali beranggapan bahawa satu baris robots.txt sudah cukup untuk menyekat pengumpulan data oleh AI. Piawaian yang menetapkan peraturan fail ini (RFC 9309, September 2022) menegaskan bahawa robots.txt hanyalah peraturan yang meminta program pengumpulan data mematuhinya, bukannya mekanisme untuk menentukan hak akses[4].

Syarikat yang mematuhi peraturan itu juga mempunyai skop pelaksanaan yang berbeza. OpenAI menerbitkan maklumat tentang program pengumpulan datanya mengikut tujuan penggunaan[5]. GPTBot mengendalikan pengumpulan data untuk latihan, manakala OAI-SearchBot mengendalikan paparan dalam carian ChatGPT, dan kedua-duanya boleh dibenarkan atau disekat secara berasingan dalam robots.txt. Bagi carian, dinyatakan bahawa perubahan robots.txt mengambil masa kira-kira 24 jam untuk berkuat kuasa. Namun, bagi ChatGPT-User, yang membuka halaman apabila pengguna mengemukakan soalan kepada ChatGPT, dokumentasinya menyatakan dengan jelas: "Oleh sebab tindakan ini dimulakan oleh pengguna, peraturan robots.txt mungkin tidak terpakai." Ini bermakna apabila ejen melawat atas arahan manusia, robots.txt sahaja tidak dapat menapisnya.

Anthropic menyatakan bahawa ClaudeBot mematuhi robots.txt dan turut menyokong sambungan Crawl-delay yang bukan sebahagian daripada piawaian[6]. Syarikat itu menerangkan cara memperlahankan pengumpulan data dengan contoh Crawl-delay: 1. Oleh sebab skop sokongan berbeza antara syarikat, nama yang digunakan oleh setiap syarikat perlu diketahui dan dinyatakan secara berasingan agar robots.txt berkesan.

Perkara yang Perlu Ditetapkan sebelum Membina Laman Web

Perkara yang perlu dipelajari oleh pengendali daripada kejadian ini ialah urutan pelaksanaan, bukannya teknologi secara berasingan.

1. Kenal pasti bahagian yang menggunakan banyak sumber dahulu. Bahagian yang memerlukan pelayan melakukan banyak kerja bagi satu permintaan, seperti carian, gabungan penapis, muat turun fail besar dan fungsi pengambilan data luar sebagai perantara, akan tumbang dahulu apabila dibanjiri bot. Di Wikimedia juga, perkhidmatan kueri dan alat pengambilan data sebagai perantara menjadi sasaran.
2. Tetapkan had bilangan permintaan pada bahagian tersebut. Had setiap jam bagi pelawat yang belum log masuk atau permintaan berulang daripada alamat yang sama boleh mengehadkan permintaan automatik tanpa kesan yang ketara kepada manusia.
3. Simpan rekod. Tanpa merekodkan User-Agent, alamat sambungan dan laluan permintaan, siapa yang melakukan apa tidak dapat dijejaki semula apabila masalah berlaku. Inilah bahagian yang dimaksudkan oleh yayasan apabila menyatakan bahawa usaha mencari puncanya sukar.
4. Urus robots.txt pada peringkat akhir. Nyatakan nama secara berasingan bagi setiap syarikat, misalnya dengan menyekat pengumpulan data untuk latihan tetapi membenarkan paparan dalam carian. Nilainya lebih besar sebagai pernyataan terbuka tentang kehendak laman berbanding kesannya sebagai sekatan.

Kami Sediakan Ruangan Had Permintaan di Sebelah Senarai Fungsi

Apabila anda menempah pembinaan laman web daripada Weple, kami menandakan secara khusus fungsi yang mengambil masa lama untuk memproses satu permintaan semasa menetapkan senarai fungsi. Bagi setiap fungsi yang ditandakan, kami menetapkan berapa kali pelawat yang belum log masuk boleh menggunakannya setiap jam, serta mencatatkan dalam dokumen yang sama tempat log akses akan disimpan dan tempoh simpanannya. Selepas itu, kami menyenaraikan nama secara berasingan bagi setiap syarikat dalam robots.txt. Unit yang kami gunakan untuk mengira kerja diterangkan di halaman harga. Perkara lain yang perlu diisi sebelum mendapatkan sebut harga diterangkan secara berasingan dalam Ruangan Bajet yang Dibiarkan Kosong Buat Sebut Harga Sukar Dibandingkan. Bagi laman yang sudah beroperasi, perkara pertama yang kami tanyakan ialah berapa hari rekod log akses yang masih tersimpan pada pelayan.

Rujukan

[1] Wikimedia Foundation. OpenAI "rogue" agent activities found on Wikimedia projects. 2026-10-05 (dalam bahasa Inggeris).

[2] Dan Goodin. OpenAI agents tried to hack Wikipedia tools and flooded it with traffic. Ars Technica, 2026-10-06 (dalam bahasa Inggeris).

[3] Wikimedia Foundation. How crawlers impact the operations of the Wikimedia projects. Diff, 2025-04-01 (dalam bahasa Inggeris).

[4] IETF. RFC 9309: Robots Exclusion Protocol. 2022-09 (dalam bahasa Inggeris).

[5] OpenAI. Overview of OpenAI Crawlers. Dicapai pada 2026-10-07 (dalam bahasa Inggeris).

[6] Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?. Dicapai pada 2026-10-07 (dalam bahasa Inggeris).