網(wǎng)絡(luò)爬蟲涉及的法律問題可從信息層、策略層、數(shù)據(jù)層進行分析。在信息層，當抓取到具有著作權(quán)、個人信息等內(nèi)容時，可能侵犯知識產(chǎn)權(quán)、人格權(quán)等法律法規(guī)；在策略層，當爬蟲技術(shù)涉及突破、繞開反爬蟲策略、協(xié)議時，可能犯有提供侵入非法控制計算機信息系統(tǒng)程序工具罪或破壞計算機信息系統(tǒng)罪；在數(shù)據(jù)層，當爬蟲活動的關(guān)聯(lián)行為涉及破解客戶端、加密算法等，可能犯有非法獲取計算機信息系統(tǒng)數(shù)據(jù)罪等。

一般爬蟲界有一個默認協(xié)議《Robots協(xié)議》（也稱為爬蟲協(xié)議、機器人協(xié)議等），全稱是“網(wǎng)絡(luò)爬蟲排除標準”（RobotsExclusionProtocol）。一般網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。是網(wǎng)絡(luò)資源提供者與搜索引擎之間的道德約定。

《Robots協(xié)議》的實施主要依賴一個文件：

robots.txt，

網(wǎng)站會將該文件置于根目錄下。舉個例子，當爬蟲訪問一個網(wǎng)站（比如http://x.y.z）時，首先會檢查該網(wǎng)站中是否存在

http://x.y.z/robots.txt

這個文件，如果爬蟲找到這個文件，它就會根據(jù)這個文件的內(nèi)容，來確定它訪問權(quán)限的范圍。

但正如上文所講，該協(xié)議只是“道德約定”，并沒有法律保障。也并不是遵循了這個協(xié)議就一定能避開一開始所講的法律問題。

因此我建議使用爬蟲以圖商業(yè)目的的朋友首先要識別數(shù)據(jù)性質(zhì)，是公開數(shù)據(jù)、半公開數(shù)據(jù)還是內(nèi)部系統(tǒng)數(shù)據(jù)，對于內(nèi)部系統(tǒng)數(shù)據(jù)，嚴格禁止侵入；爬取數(shù)據(jù)時避免獲取個人信息、明確的著作權(quán)作品、商業(yè)秘密等；限定數(shù)據(jù)的應(yīng)用場景，如遇涉及侵害他人的商業(yè)利益和競爭秩序的場景，要思之再三再做決策。

最后再談?wù)勅绾伪苊獠壤住５谝稽c，同業(yè)競爭者的數(shù)據(jù)最好不要爬，官司很容易上身；第二點，被公司定性為有商業(yè)價值的數(shù)據(jù)不要爬，有個案例是百度爬了美團的有價數(shù)據(jù)，結(jié)果被告得很慘；第三點，爬蟲機器人千萬別擾亂對方的正常運營，萬一搞崩了別人的網(wǎng)站，后果很嚴重。

法律參考：

《刑法》第285條，非法獲取計算機信息系統(tǒng)數(shù)據(jù)罪。最高處七年有期徒刑。

《刑法》第286條，破壞計算機信息系統(tǒng)罪。最高處五年以上。比如為了抓取數(shù)據(jù)，破解登陸密碼，反編譯APP。

《網(wǎng)絡(luò)安全法》，倒賣隱私數(shù)據(jù)鏈條上的一環(huán)。你把抓取的數(shù)據(jù)倒賣給壞人，壞人拿數(shù)據(jù)做了壞事，你就是這其中一環(huán)。