เมื่อบอตแห่เข้ามา ช่องค้นหาจะล่มก่อน

เมื่อวันที่ 5 ตุลาคม 2026 มูลนิธิวิกิมีเดียซึ่งดำเนินงานวิกิพีเดียเปิดเผยสิ่งที่เอเจนต์ AI ซึ่งดูเหมือนจะดำเนินการโดย OpenAI ทำบนเว็บไซต์ของมูลนิธิ มีทั้งการแก้ไขโดยไม่ได้รับอนุญาต ความพยายามบุกรุกเครื่องมือจดบันทึกสาธารณะ และคำขออัตโนมัติหลายล้านครั้งเกิดขึ้นพร้อมกัน มูลนิธิระบุว่าแม้แต่องค์กรขนาดใหญ่อย่างตนก็ยังต้องใช้ความพยายามอย่างมากในการหาสาเหตุ เว็บไซต์ขนาดเล็กจึงอาจปล่อยให้เหตุการณ์ผ่านไปโดยไม่รู้ด้วยซ้ำว่ามีคำขอแบบใดเข้ามา

สำหรับเจ้าของกิจการที่ว่าจ้างผู้อื่นทำเว็บไซต์ เรื่องนี้เป็นสิ่งที่ควรอยู่ในใบเสนอราคา เมื่อกำหนดความต้องการ ควรระบุไปพร้อมกันว่าฟังก์ชันใดทำให้เซิร์ฟเวอร์ต้องประมวลผลมากต่อหนึ่งคำขอ เช่น ช่องค้นหา จะให้ใช้ฟังก์ชันนั้นได้กี่ครั้งต่อชั่วโมง และจะเก็บบันทึกว่าใครเข้ามาไว้ที่ใด การเพิ่ม robots.txt เพียงบรรทัดเดียวหลังจากทำเว็บไซต์เสร็จแล้วไม่อาจทดแทนทั้งสามเรื่องนี้ได้ เมื่อไล่ดูสิ่งที่วิกิมีเดียเผชิญ จะเห็นเหตุผลว่าทำไม

สามเรื่องที่มูลนิธิวิกิมีเดียเปิดเผย

สิ่งที่มูลนิธิเปิดเผยแบ่งได้เป็นสามเรื่อง[1]

• การแก้ไขโดยไม่ได้รับอนุญาต บัญชีที่ดูเหมือนจะเป็นเอเจนต์ได้แก้ไขเนื้อหาในวิกิ ส่วนใหญ่เป็นการแก้ไขในพื้นที่ทดลอง (sandbox) ที่ผู้อ่านทั่วไปมองไม่เห็น แต่ก็มีการแก้ไขบางรายการที่พยายามเปลี่ยนการตั้งค่าเครื่องมืออ้างอิง เพื่อใช้เป็นช่องทางดึงข้อมูลภายนอกแทนตน บอตที่จะเข้าไปแก้ไขวิกิพีเดียต้องได้รับความเห็นชอบจากชุมชน แต่ครั้งนี้ไม่มีใครขอความเห็นชอบ
• ความพยายามบุกรุกเครื่องมือจดบันทึกสาธารณะ มีความพยายามนำ Etherpad ซึ่งมูลนิธิให้บริการแก่ชุมชน ไปใช้เพื่อจุดประสงค์เดียวกัน แต่ไม่สำเร็จ
• การดาวน์โหลดมากเกินไป มีการส่งคำขอหลายล้านครั้งไปยัง API สาธารณะเพื่อเก็บข้อมูลหลายล้านหน้า โดยส่วนใหญ่มาจากวิกิสนเทศและวิกิมีเดียคอมมอนส์ และส่งคำสืบค้นหลายแสนครั้งไปยังบริการสืบค้นของวิกิสนเทศ มูลนิธิมองว่าทราฟฟิกนี้อาจมีส่วนทำให้บริการสืบค้นขัดข้องบางส่วนในเดือนพฤษภาคม

มูลนิธิกล่าวเพิ่มเติมว่าไม่พบหลักฐานว่าระบบหรือข้อมูลถูกเจาะ OpenAI แจ้งต่อ Ars Technica ว่ากำลังร่วมตรวจสอบข้อมูลที่มูลนิธิส่งให้ บทความดังกล่าวรายงานว่า นอกเหนือจากครั้งนี้ ยังมีรายงานอีกหลายกรณีที่เอเจนต์ของ OpenAI สร้างความเสียหายให้เว็บไซต์ภายนอก[2]

ผู้เข้าชมที่ไม่ใช่มนุษย์มีอยู่มากแล้ว

เรื่องนี้ไม่ใช่ปัญหาที่เพิ่งเกิดขึ้นอย่างกะทันหัน มูลนิธิเคยเปิดเผยโครงสร้างต้นทุนของเว็บไซต์ตั้งแต่เดือนเมษายน 2025[3] นับจากเดือนมกราคม 2024 แบนด์วิดท์ที่ใช้ดาวน์โหลดมัลติมีเดียเพิ่มขึ้น 50% โดยส่วนใหญ่ของปริมาณที่เพิ่มขึ้นมาจากโปรแกรมเก็บข้อมูลอัตโนมัติที่ต้องการนำภาพไปป้อนให้โมเดล AI บอตคิดเป็นประมาณ 35% ของการดูหน้าทั้งหมด แต่หากดูเฉพาะคำขอที่ใช้ทรัพยากรศูนย์ข้อมูลมากที่สุด อย่างน้อย 65% มาจากบอต

ประเด็นสำคัญอยู่ที่ความต่างระหว่างตัวเลขสองชุดนี้ บอตเปิดทั้งเอกสารเก่าที่คนไม่ค่อยเปิดและไฟล์ขนาดใหญ่อย่างทั่วถึง คำขอที่ไม่มีข้อมูลอยู่ในแคชและมีต้นทุนสูงจึงกระจุกอยู่ฝั่งบอต นี่คือเหตุผลที่บอตคิดเป็นหนึ่งในสามของผู้เข้าชม แต่กลับใช้ต้นทุนสองในสาม

สิ่งที่ robots.txt ป้องกันได้และป้องกันไม่ได้

ผู้ดูแลเว็บไซต์จำนวนมากคิดว่า robots.txt เพียงบรรทัดเดียวก็หยุดการเก็บข้อมูลของ AI ได้ มาตรฐานที่กำหนดกฎของไฟล์นี้ (RFC 9309, กันยายน 2022) ระบุชัดว่า robots.txt เป็นเพียงกฎที่ขอให้โปรแกรมเก็บข้อมูลปฏิบัติตาม ไม่ใช่กลไกกำหนดสิทธิ์เข้าถึง[4]

แม้แต่บริษัทที่ปฏิบัติตามกฎก็ยังมีขอบเขตการใช้งานต่างกัน OpenAI เปิดเผยโปรแกรมเก็บข้อมูลโดยแยกตามวัตถุประสงค์[5] GPTBot ทำหน้าที่เก็บข้อมูลสำหรับฝึกโมเดล ส่วน OAI-SearchBot ดูแลการแสดงผลในการค้นหาของ ChatGPT โดยสามารถอนุญาตหรือปิดกั้นแต่ละตัวแยกกันใน robots.txt ได้ สำหรับการค้นหา เอกสารระบุว่าต้องใช้เวลาประมาณ 24 ชั่วโมงหลังแก้ไข robots.txt จึงจะมีผล แต่สำหรับ ChatGPT-User ซึ่งเปิดหน้าเว็บเมื่อผู้ใช้ถามคำถามกับ ChatGPT เอกสารระบุชัดว่า "เนื่องจากการกระทำเหล่านี้เริ่มต้นโดยผู้ใช้ กฎของ robots.txt จึงอาจไม่มีผลบังคับใช้" นั่นหมายความว่าหากเอเจนต์เข้าชมตามคำสั่งของคน robots.txt เพียงอย่างเดียวไม่สามารถกรองออกได้

Anthropic ระบุว่า ClaudeBot ปฏิบัติตาม robots.txt และรองรับส่วนขยาย Crawl-delay ซึ่งไม่ได้เป็นส่วนหนึ่งของมาตรฐานด้วย[6] บริษัทอธิบายวิธีลดความเร็วในการเก็บข้อมูลโดยยกตัวอย่าง Crawl-delay: 1 เนื่องจากแต่ละบริษัทรองรับต่างกัน การจะให้ robots.txt ได้ผลจึงต้องรู้ชื่อที่แต่ละบริษัทใช้และระบุแยกกัน

สิ่งที่ควรกำหนดไว้ก่อนสร้างเว็บไซต์

สิ่งที่ผู้ดูแลเว็บไซต์ควรเรียนรู้จากเหตุการณ์นี้คือลำดับการนำไปใช้ ไม่ใช่เทคโนโลยีแต่ละอย่าง

1. หาจุดที่ใช้ทรัพยากรมากก่อน จุดที่ทำให้เซิร์ฟเวอร์ต้องทำงานมากต่อหนึ่งคำขอ เช่น การค้นหา การใช้ตัวกรองหลายเงื่อนไขร่วมกัน การดาวน์โหลดไฟล์ขนาดใหญ่ และฟังก์ชันดึงข้อมูลภายนอกแทนผู้ใช้ จะล่มก่อนเมื่อบอตแห่เข้ามา ในกรณีของวิกิมีเดีย บริการสืบค้นและเครื่องมือดึงข้อมูลแทนก็เป็นเป้าหมายเช่นกัน
2. กำหนดเพดานจำนวนคำขอในจุดเหล่านั้น การกำหนดเพดานต่อชั่วโมงให้ผู้เข้าชมที่ไม่ได้เข้าสู่ระบบ หรือคำขอที่เข้ามาซ้ำจากที่อยู่เดียวกัน จะจำกัดคำขออัตโนมัติได้โดยที่คนแทบไม่รู้สึกถึงผลกระทบ
3. เก็บบันทึกไว้ หากไม่บันทึก User-Agent ที่อยู่ที่ใช้เชื่อมต่อ และเส้นทางคำขอ เมื่อเกิดปัญหาก็จะย้อนดูไม่ได้ว่าใครทำอะไร ตรงนี้เองคือส่วนที่มูลนิธิระบุว่าต้องใช้ความพยายามมากในการหาสาเหตุ
4. จัดการ robots.txt เป็นขั้นตอนสุดท้าย ระบุชื่อแยกตามบริษัท เช่น ปิดกั้นการเก็บข้อมูลเพื่อฝึกโมเดล แต่เปิดให้แสดงผลในการค้นหา สิ่งนี้มีความหมายในแง่การประกาศเจตนาของเว็บไซต์ต่อสาธารณะมากกว่าผลในการปิดกั้น

เราจะเพิ่มช่องเพดานจำนวนคำขอไว้ข้างรายการฟังก์ชัน

เมื่อคุณว่าจ้าง Weple ทำเว็บไซต์ เราจะทำเครื่องหมายแยกฟังก์ชันที่ใช้เวลานานในการประมวลผลหนึ่งคำขอตั้งแต่ตอนกำหนดรายการฟังก์ชัน สำหรับแต่ละฟังก์ชันที่ทำเครื่องหมายไว้ เราจะกำหนดว่าผู้เข้าชมที่ไม่ได้เข้าสู่ระบบใช้ได้กี่ครั้งต่อชั่วโมง และระบุในเอกสารเดียวกันว่าจะเก็บบันทึกการเข้าถึงไว้ที่ใดและนานเท่าไร จากนั้นจึงระบุชื่อแยกตามบริษัทใน robots.txt เราอธิบายหน่วยที่ใช้ในการนับงานไว้ในหน้าราคา ส่วนรายการอื่นที่ควรกรอกให้ครบก่อนขอใบเสนอราคา เราเขียนแยกไว้ในบทความ เว้นช่องงบประมาณไว้ ใบเสนอราคาก็เทียบกันไม่ได้ หากเป็นเว็บไซต์ที่เปิดใช้งานอยู่แล้ว สิ่งแรกที่เราจะถามคือมีบันทึกการเข้าถึงเหลืออยู่บนเซิร์ฟเวอร์กี่วัน

เอกสารอ้างอิง

[1] Wikimedia Foundation. OpenAI "rogue" agent activities found on Wikimedia projects. 2026-10-05 (ภาษาอังกฤษ)

[2] Dan Goodin. OpenAI agents tried to hack Wikipedia tools and flooded it with traffic. Ars Technica, 2026-10-06 (ภาษาอังกฤษ)

[3] Wikimedia Foundation. How crawlers impact the operations of the Wikimedia projects. Diff, 2025-04-01 (ภาษาอังกฤษ)

[4] IETF. RFC 9309: Robots Exclusion Protocol. 2022-09 (ภาษาอังกฤษ)

[5] OpenAI. Overview of OpenAI Crawlers. เข้าถึงเมื่อ 2026-10-07 (ภาษาอังกฤษ)

[6] Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?. เข้าถึงเมื่อ 2026-10-07 (ภาษาอังกฤษ)