怎么扒取一個完整的網站？
爬取網站一般用java和python 較多。python 作為當下勢頭正熱的膠水語言，用來爬去網站內容再合適不過了，語法簡介優雅，易入門，并可快速應用于案例。
那么如何爬取一個網站呢？
首先需要分析網站結構，一般用Chrome 瀏覽器，分析自己需要爬取的內容位于哪個DIV，如果是網站作用了ajx技術，就需要爬取XHR了。對于一般要爬取的數據一般是用requests模塊，使用簡單，有豐富的中文文檔，如果是大型項目建議用scripy, 是一個極其優秀的爬蟲框架。對于爬取到的數據，當然是需要先清洗一邊，用推薦用beautifulsoup這個包，上手簡單。清洗后的數據需要導出存儲，如果需要導出到表格可以用XlsxWrter。隨著越來越多的網站開始重視自己的數據信息，網站管理員都開始注重網站的反爬蟲，驗證碼，按文字提示順序點擊圖片等，越來越多的驗證碼讓用戶不厭其煩，而數據泄露仍舊是當下互聯網的一大問題，有盾便有矛，爬蟲和反爬蟲技術本身也在不斷的發展，反爬蟲技術則需要在用戶體驗和網站安全性之間做一個很好的平衡。
以上。
