集め終わってから使えなくなるクロールデータ

クロールしていいかを決めるのは規約

技術的に取ってこられるサイトは多い。本当の問いは、できるかどうかではなく、していいかどうかだ。多くのサイトは利用規約に自動収集(クロール・スクレイピング)を禁止または制限する条項を置き、robots.txtで収集していい経路を別に示していることもある。外注に出す前に、対象サイトの規約とrobots.txtを開くのが順番だ。ここを飛ばすと、データを全部集めた後で使えないという事態になる。

robots.txtは法律ではないが、根拠として持ち出される

robots.txtは強制力のある法律文書ではなく、サイト運営者が収集ロボットへ送る要請だ。技術だけ見れば、無視して取ってきても収集はできる。問題は後だ。robots.txtを無視したという事実は、争いになったときに故意性を判断する根拠として使われうる。収集を止めてある経路はできるだけ避け、どうしても必要ならそのサイトへ正式に問い合わせておくほうが安全だ。

個人情報が混じった瞬間、基準が変わる

公開された投稿でも、投稿者の名前、連絡先、プロフィール写真のような個人情報が一緒に付いてくれば、そのデータは個人情報保護法の対象になる。「公開情報だから大丈夫」という判断は危うい。個人情報を集め、保存し、使うには別の法的根拠が要る。収集対象に個人情報が混じっているなら、その部分を切り分けて検討せずに先へは進めない。

著作権は、収集より再利用で引っかかる

ニュース記事、写真、レビュー本文のように著作権のあるコンテンツは、取ってくる段階よりも自社サービスにそのまま載せる段階で問題が大きくなる。要約とリンクで出典を示すことと、原文を丸ごと複製して見せることは、法的にまったく別の扱いを受ける。検討の深さは目的でも変わる。社内の分析用に溜めるだけのデータと、外部のサービスに出すデータを、同じ物差しで見ることはできない。

外注に出す前に答えを決めておく三つ

クロールを外注するとき、次の三つに先に答えを持っていると進行が早い。

• 対象サイトの利用規約とrobots.txtを確認したか
• 集めるデータに個人情報が含まれるか、含まれるならどう扱うか
• 集めたデータを社内だけで使うか、外部に見せるか

答えが決まっていれば、受託側も範囲をずっと明確に見積もれるし、集め終わってから使えないという事態も避けられる。

集める対象から一緒に確かめます

法的な範囲まで見ながらクロールの範囲を決めるのは、初めてだと見当がつきにくいものです。Weple はデータ収集の外注を始めるとき、この範囲の整理を最初の手順に置いています。集めたいサイトと、そのデータを何に使う予定かを教えていただければ、どこまで進められる作業なのかからお答えします。