다 모으고 나서 못 쓰는 크롤링 데이터

크롤링 가능 여부는 약관이 정한다

기술적으로 긁어올 수 있는 사이트는 많다. 진짜 질문은 할 수 있느냐가 아니라 해도 되느냐다. 대부분의 사이트는 이용약관에 자동 수집(크롤링·스크래핑)을 금지하거나 제한하는 조항을 두고, robots.txt로 수집해도 되는 경로를 따로 알려 주기도 한다. 외주를 의뢰하기 전에 대상 사이트의 약관과 robots.txt부터 열어 보는 게 순서다. 이걸 건너뛰면 데이터를 다 모아 놓고도 쓰지 못하는 일이 생긴다.

robots.txt는 법이 아니어도 근거로 쓰인다

robots.txt는 강제력 있는 법률 문서가 아니라 사이트 운영자가 수집 로봇에게 보내는 요청이다. 기술만 놓고 보면 무시하고 긁어와도 수집은 된다. 문제는 나중이다. robots.txt를 무시했다는 사실은 분쟁이 생겼을 때 고의성을 판단하는 근거로 쓰일 수 있다. 수집을 막아 둔 경로는 되도록 피하고, 꼭 필요하다면 해당 사이트에 공식적으로 문의해 두는 편이 안전하다.

개인정보가 섞이는 순간 기준이 바뀐다

공개된 게시글이라도 작성자 이름, 연락처, 프로필 사진 같은 개인정보가 함께 딸려 오면 그 데이터는 개인정보보호법의 적용을 받는다. “공개된 정보니까 괜찮다”는 판단은 위험하다. 개인정보를 수집하고 저장하고 활용하려면 별도의 법적 근거가 있어야 한다. 수집 대상에 개인정보가 섞여 있다면 그 부분은 따로 떼어 검토하지 않고 넘어갈 수 없다.

저작권은 수집보다 재사용에서 걸린다

뉴스 기사, 사진, 리뷰 본문처럼 저작권이 있는 콘텐츠는 가져오는 단계보다 자기 서비스에 그대로 올리는 단계에서 문제가 커진다. 요약과 링크로 출처를 밝히는 것과 원문을 통째로 복제해 노출하는 것은 법적으로 전혀 다르게 취급된다. 검토 수준은 목적에 따라서도 갈린다. 내부 분석용으로만 쌓아 두는 데이터와 외부 서비스에 노출할 데이터는 같은 잣대로 볼 수 없다.

외주를 맡기기 전에 답을 정해둘 것

크롤링 외주를 의뢰할 때 아래 세 가지에 미리 답을 갖고 있으면 진행이 빨라진다.

• 대상 사이트의 약관과 robots.txt를 확인했는가
• 수집할 데이터에 개인정보가 포함되는가, 포함된다면 어떻게 처리할 것인가
• 모은 데이터를 내부에서만 쓸 것인가, 외부에 노출할 것인가

답이 정해져 있으면 외주를 맡은 쪽도 범위를 훨씬 명확하게 잡고, 데이터를 다 모은 뒤에 쓰지 못하는 상황도 피할 수 있다.

수집 대상부터 같이 확인합니다

법적 범위까지 따져 가며 크롤링 범위를 잡는 일은 처음이면 막막합니다. 위플은 데이터 수집 외주를 시작할 때 이 범위 정리를 첫 순서로 잡습니다. 수집하려는 사이트와 그 데이터를 어디에 쓸 계획인지 알려주시면, 어디까지 진행할 수 있는 작업인지 답부터 드립니다.