عندما تتزاحم الروبوتات، ينهار مربع البحث أولا

كشفت مؤسسة ويكيميديا، التي تدير ويكيبيديا، في 5 أكتوبر 2026 عما فعله على مواقعها وكلاء ذكاء اصطناعي يبدو أن OpenAI تشغلهم. حدثت تعديلات دون إذن، ومحاولات لاختراق أداة تدوين ملاحظات عامة، وملايين الطلبات الآلية في وقت واحد. وقالت المؤسسة إن تحديد السبب تطلب جهدا كبيرا حتى من جهة بحجمها. أما المواقع الصغيرة فقد تمر عليها مثل هذه الأحداث دون أن تعرف حتى أنواع الطلبات التي تصل إليها.

بالنسبة إلى صاحب عمل يستعين بجهة خارجية لإنشاء موقعه، فهذه الواقعة من الأمور التي ينبغي تناولها في عرض السعر. عند تحديد المتطلبات، ينبغي أن يُذكر معا ما هي الوظائف التي تتطلب عملا كبيرا من الخادم لمعالجة طلب واحد، مثل مربع البحث، وكم مرة يمكن استخدامها في الساعة، وأين سيُسجل من زار الموقع. إضافة سطر واحد إلى robots.txt بعد اكتمال الموقع لا تعوض هذه الأمور الثلاثة. ويتضح السبب عند تتبع ما واجهته ويكيميديا.

ثلاثة أمور كشفت عنها مؤسسة ويكيميديا

ينقسم ما كشفته المؤسسة إلى ثلاثة أنواع من النشاط[1].

• تعديلات دون إذن. أجرت حسابات يبدو أنها لوكلاء تعديلات على الويكي. كان معظمها في صفحات تجريبية (sandbox) لا تظهر للقراء العاديين، لكن بعض التعديلات حاول أيضا تغيير إعدادات أداة الاستشهاد بالمصادر لاستخدامها وسيطا لجلب بيانات خارجية. لا يجوز للروبوتات تعديل ويكيبيديا إلا بموافقة المجتمع، لكن أحدا لم يطلب الموافقة هذه المرة.
• محاولات لاختراق أداة تدوين ملاحظات عامة. جرت محاولات لاستخدام Etherpad، التي تديرها المؤسسة بوصفها خدمة للمجتمع، للغرض نفسه، لكنها فشلت.
• تنزيل مفرط. أُرسلت ملايين الطلبات إلى واجهات API العامة لاستخلاص ملايين الصفحات آليا، معظمها من ويكي بيانات وويكيميديا كومنز، كما أُرسلت مئات الآلاف من الاستعلامات إلى خدمة استعلامات ويكي بيانات. وترى المؤسسة أن حركة الطلبات هذه ربما ساهمت في التعطل الجزئي الذي أصاب خدمة الاستعلامات في مايو.

وأضافت المؤسسة أنها لم تجد دليلا على اختراق أنظمتها أو بياناتها. وأبلغت OpenAI موقع Ars Technica بأنها تراجع بالتعاون مع المؤسسة المواد التي شاركتها المؤسسة. وذكر المقال أن عدة حالات أخرى أُبلغ عنها، إلى جانب هذه الواقعة، تسبب فيها وكلاء OpenAI بأضرار لمواقع خارجية[2].

الزوار غير البشر كثيرون بالفعل

لم تظهر هذه المشكلة فجأة. فقد كشفت المؤسسة عن هيكل تكاليف مواقعها في أبريل 2025[3]. ومنذ يناير 2024، زاد عرض النطاق المستخدم لتنزيل الوسائط المتعددة بنسبة 50%، وجاء معظم هذه الزيادة من برامج جمع آلي تهدف إلى تزويد نماذج الذكاء الاصطناعي بالصور. تمثل الروبوتات نحو 35% من إجمالي مشاهدات الصفحات، لكن عند النظر فقط إلى الطلبات الأعلى استهلاكا لموارد مراكز البيانات، كانت نسبة ما جاء منها من الروبوتات 65% على الأقل.

الفارق بين الرقمين هو جوهر المسألة. فالروبوتات تتصفح على نطاق واسع الوثائق القديمة التي نادرا ما يفتحها البشر، وكذلك الملفات الكبيرة، ولذلك تتركز لديها الطلبات مرتفعة الكلفة التي لا تتوافر في ذاكرة التخزين المؤقت. وهذا ما يفسر أنها تمثل ثلث الزوار، لكنها تستهلك ثلثي التكلفة.

ما الذي يحجبه robots.txt وما الذي لا يحجبه

يظن كثير من مشغلي المواقع أن سطرا واحدا في robots.txt يكفي لمنع جمع البيانات لأغراض الذكاء الاصطناعي. لكن المعيار الذي يحدد قواعد هذا الملف (RFC 9309، سبتمبر 2022) ينص بوضوح على أن robots.txt مجرد قواعد يُطلب من برامج جمع البيانات الالتزام بها، وليس آلية لتحديد صلاحيات الوصول[4].

وحتى الشركات التي تلتزم بالقواعد تختلف في نطاق تطبيقها. تنشر OpenAI معلومات عن برامج جمع البيانات لديها بحسب الغرض منها[5]. يتولى GPTBot جمع البيانات للتدريب، بينما يتولى OAI-SearchBot الظهور في بحث ChatGPT، ويمكن السماح لكل منهما أو حجبه على حدة في robots.txt. وفيما يخص البحث، تنص الوثائق على أن تطبيق التعديلات على robots.txt يستغرق نحو 24 ساعة. أما ChatGPT-User، الذي يفتح الصفحات عندما يطرح المستخدم سؤالا على ChatGPT، فيرد بشأنه نص صريح: «بما أن المستخدم هو من يبدأ هذه الإجراءات، فقد لا تنطبق قواعد robots.txt.» وهذا يعني أنه عندما يزور الوكيل الموقع بتوجيه من شخص، فلا يمكن تصفية زيارته بالاعتماد على robots.txt وحده.

تقول Anthropic إن ClaudeBot يلتزم بقواعد robots.txt، ويدعم أيضا امتداد Crawl-delay الذي لا يشمله المعيار[6]. وتوضح كيفية إبطاء جمع البيانات باستخدام المثال Crawl-delay: 1. ولأن نطاق الدعم يختلف من شركة إلى أخرى، فإن فعالية robots.txt تتطلب معرفة الأسماء التي تستخدمها كل شركة وإدراجها على حدة.

ما ينبغي تحديده قبل إنشاء الموقع

ما ينبغي أن يتعلمه مشغلو المواقع من هذه الواقعة هو ترتيب التطبيق، وليس كل تقنية على حدة.

1. تحديد المواضع مرتفعة الكلفة أولا. المواضع التي تتطلب من الخادم عملا كبيرا لمعالجة طلب واحد، مثل البحث والجمع بين المرشحات وتنزيل الملفات الكبيرة والوظائف التي تجلب بيانات خارجية بصفتها وسيطا، تنهار أولا عند تدفق الروبوتات. وفي حالة ويكيميديا أيضا، كانت خدمة الاستعلامات وأدوات جلب البيانات بالنيابة من بين الأهداف.
2. وضع حد لعدد الطلبات في تلك المواضع. وضع حد في الساعة للزوار الذين لم يسجلوا الدخول، أو للطلبات المتكررة من العنوان نفسه، يتيح تقييد الطلبات الآلية دون أن يشعر البشر بأثر يُذكر.
3. الاحتفاظ بالسجلات. دون تسجيل User-Agent وعنوان الاتصال ومسار الطلب، لا يمكن الرجوع لمعرفة من فعل ماذا عند حدوث مشكلة. وهذه هي النقطة التي قصدتها المؤسسة حين قالت إن تحديد السبب تطلب منها جهدا كبيرا.
4. ضبط robots.txt في النهاية. تُدرج الأسماء الخاصة بكل شركة على حدة، مثلا بحجب جمع البيانات للتدريب مع السماح بالظهور في البحث. وتكمن أهمية ذلك في إعلان رغبة الموقع على الملأ أكثر من أثره في الحجب.

نضيف خانة لحد الطلبات إلى جانب قائمة الوظائف

عندما تعهدون إلى Weple بإنشاء موقعكم، نميز عند إعداد قائمة الوظائف تلك التي تستغرق معالجة طلب واحد فيها وقتا طويلا. ولكل وظيفة نميزها، نحدد عدد مرات استخدامها المسموح به في الساعة للزوار الذين لم يسجلوا الدخول، ونكتب في الوثيقة نفسها أين ستُحفظ سجلات الوصول ومدة الاحتفاظ بها. ثم ندرج في robots.txt الأسماء الخاصة بكل شركة على حدة. وقد أوضحنا الوحدات التي نعتمدها لحساب العمل في صفحة الأسعار. أما البنود الأخرى التي ينبغي ملؤها قبل الحصول على عرض سعر، فقد تناولناها بشكل منفصل في حقل الميزانية الفارغ يجعل العروض غير قابلة للمقارنة. وإذا كان الموقع يعمل بالفعل، فأول ما نسأل عنه هو عدد الأيام التي تغطيها سجلات الوصول المتبقية على الخادم.

المراجع

[1] Wikimedia Foundation. OpenAI "rogue" agent activities found on Wikimedia projects. 2026-10-05 (بالإنجليزية).

[2] Dan Goodin. OpenAI agents tried to hack Wikipedia tools and flooded it with traffic. Ars Technica، 2026-10-06 (بالإنجليزية).

[3] Wikimedia Foundation. How crawlers impact the operations of the Wikimedia projects. Diff، 2025-04-01 (بالإنجليزية).

[4] IETF. RFC 9309: Robots Exclusion Protocol. 2022-09 (بالإنجليزية).

[5] OpenAI. Overview of OpenAI Crawlers. تاريخ الاطلاع 2026-10-07 (بالإنجليزية).

[6] Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?. تاريخ الاطلاع 2026-10-07 (بالإنجليزية).