Halangan Scraping Jarang Bersifat Teknikal

Terma Penggunaan Menentukan Keizinan

Secara teknikal, hampir semua laman boleh diambil datanya. Soalan sebenarnya bukan boleh atau tidak, tetapi wajar atau tidak. Kebanyakan laman mencatatkan larangan atau had pengumpulan automatik dalam terma penggunaannya, dan sebahagiannya menanda laluan yang terbuka melalui robots.txt. Sebelum kerja ini diserahkan kepada pihak luar, buka terma penggunaan dan robots.txt laman sasaran. Melangkau langkah itu berakhir dengan data yang menimbun penuh tetapi tidak boleh dipakai.

robots.txt Muncul Semula Semasa Pertikaian

robots.txt bukan dokumen undang-undang yang mengikat. Isinya permintaan daripada pengendali laman kepada robot pengumpul, dan dari sudut teknikal ia tetap boleh diabaikan. Kesannya datang kemudian. Fakta bahawa robots.txt diabaikan boleh dipakai untuk menilai unsur kesengajaan apabila pertikaian berlaku. Elakkan laluan yang ditutup. Kalau data pada laluan itu benar-benar diperlukan, hantar pertanyaan rasmi kepada pengendali lamannya dan simpan jawapan yang diterima.

Nama dan Nombor Telefon Menukar Peraturan

Kiriman yang terbuka untuk umum pun kerap membawa nama penulis, nombor perhubungan, dan gambar profil. Sebaik bahagian itu turut terkumpul, datanya masuk ke ruang lingkup Akta Perlindungan Data Peribadi. Anggapan “sudah terbuka kepada umum, jadi selamat” itu berisiko. Mengumpul, menyimpan, dan menggunakan data peribadi ialah tindakan yang menuntut asas undang-undangnya sendiri. Kalau sasaran pengumpulan bercampur maklumat peribadi, bahagian tersebut perlu ditinjau berasingan sebelum kerja bermula.

Hak Cipta Menyusul di Peringkat Paparan Semula

Artikel berita, gambar, dan teks ulasan ada pemilik hak ciptanya, dan risikonya membesar bukan ketika mengambil, sebaliknya ketika memaparkannya semula pada perkhidmatan sendiri. Meringkaskan lalu memaut ke sumber dilayan sangat berbeza daripada menyalin naskhah utuh dan menerbitkannya kembali. Kedalaman tinjauan turut bergantung kepada tujuan. Data yang hanya menimbun untuk analisis dalaman dan data yang akan terpampang pada perkhidmatan awam tidak boleh diukur dengan pembaris yang sama.

Tiga Jawapan Sebelum Kerja Diserahkan

Tiga soalan ini eloknya sudah berjawab sebelum kerja diserahkan kepada pihak luar.

• Sudahkah terma penggunaan dan robots.txt laman sasaran dibaca
• Adakah data yang hendak dikumpul membawa maklumat peribadi, dan jika ada, bagaimana ia akan dikendalikan
• Adakah data itu kekal untuk kegunaan dalaman atau akan dipaparkan kepada umum

Tiga jawapan itu terus mengubah cara pihak pelaksana mengunci skop, dan menjimatkan kerja yang terpaksa dibuang selepas data siap terkumpul.

Kami Semak Sasaran Pengumpulan Bersama Anda

Menimbang had undang-undang sambil menetapkan skop crawling memang mengelirukan pada kali pertama. Di Weple, kerja mengemas skop ini didahulukan sebelum satu baris kod pun ditulis. Beritahu laman yang menjadi sasaran dan rancangan anda terhadap datanya, dan kami pulangkan jawapan setakat mana kerja itu boleh dijalankan, serta bahagian mana yang lebih baik ditukar pendekatannya.