學爬蟲是循序漸進的過程，作為零基礎小白，大體上可分為三個階段，
爬蟲涉及的技術包括但不限于熟練一門編程語言（這里以Python為例）HTML知識、HTTP/HTTPS協議的基本知識、正則表達式、數據庫知識，常用抓包工具的使用、爬蟲框架的使用、涉及到大規模爬蟲，還需要了解分布式的概念、消息隊列、常用的數據結構和算法、緩存，甚至還包括機器學習的應用，大規模的系統背后都是靠很多技術來支撐的。爬蟲只是為了獲取數據，分析、挖掘這些數據才是價值，因此它還可以延伸到數據分析、數據挖掘等領域，給企業做決策，所以作為一名爬蟲工程師，是大有可為的。
那么是不是一定要把上面的知識全學完了才可以開始寫爬蟲嗎？當然不是，學習是一輩子的事，只要你會寫Python代碼了，就直接上手爬蟲，好比學車，只要能開動了就上路吧，當然寫代碼可比開車安全多了。
用Python寫爬蟲，首先需要會Python，把基礎語法搞懂，知道怎么使用函數、類和常用的數據結構如list、dict中的常用方法就算基本入門。接著你需要了解HTML，HTML就是一個文檔樹結構，網上有個HTML30分鐘入門教程夠用了。然后是關于HTTP的知識，爬蟲基本原理就是通過網絡請求從遠程服務器下載數據的過程，而這個網絡請求背后的技術就是基于HTTP協議。作為入門爬蟲來說，你需要了解HTTP協議的基本原理，雖然HTTP規范用一本書都寫不完，但深入的內容可以放以后慢慢去看，理論與實踐相結合。
網絡請求框架都是對HTTP協議的實現，比如著名的網絡請求庫Requests就是一個模擬瀏覽器發送HTTP請求的網絡庫。了解HTTP協議之后，你就可以專門有針對性的學習和網絡相關的模塊了，比如Python自帶有urllib、urllib2（Python3中的urllib），httplib，Cookie等內容，當然你可以直接跳過這些，直接學習Requests怎么用，前提是你熟悉了HTTP協議的基本內容。這里不得不推薦的一本書是《圖解HTTP》。數據爬下來，大部分情況是HTML文本，也有少數是基于XML格式或者Json格式的數據，要想正確處理這些數據，你要熟悉每種數據類型的解決方案，比如JSON數據可以直接使用Python自帶的模塊json，對于HTML數據，可以使用BeautifulSoup、lxml等庫去處理，對于xml數據，除了可以使用untangle、xmltodict等第三方庫。
入門爬蟲，學習正則表達式并不是必須的，你可以在你真正需要的時候再去學，比如你把數據爬取回來后，需要對數據進行清洗，當你發現使用常規的字符串操作方法根本沒法處理時，這時你可以嘗試了解一下正則表達式，往往它能起到事半功倍的效果。Python的re模塊可用來處理正則表達式。這里也推薦幾個教程：正則表達式30分鐘入門教程Python正則表達式指南正則表達式完全指南
數據清洗完最終要進行持久化存儲，你可以用文件存儲，比如CSV文件，也可以用數據庫存儲，簡單的用sqlite，專業點用MySQL，或者是分布式的文檔數據庫MongoDB，這些數據庫對Python都非常友好，有現成的庫支持。Python操作MySQL數據庫通過Python連接數據庫
從數據的抓取到清洗再到存儲的基本流程都走完了，也算是基本入門了，接下來就是考驗內功的時候了，很多網站都設有反爬蟲策略，他們想方設法阻止你用非正常手段獲取數據，比如會有各種奇奇怪怪的驗證碼限制你的請求操作、對請求速度做限制，對IP做限制、甚至對數據進行加密操作，總之，就是為了提高獲取數據的成本。這時你需要掌握的知識就要更多了，你需要深入理解HTTP協議，你需要理解常見的加解密算法，你要理解HTTP中的cookie，HTTP代理，HTTP中的各種HEADER。爬蟲與反爬蟲就是相愛相殺的一對，道高一次魔高一丈。如何應對反爬蟲沒有既定的統一的解決方案，靠的是你的經驗以及你所掌握的知識體系。這不是僅憑21天入門教程就能達到的高度。
數據結構和算法
進行大規模爬蟲，通常都是從一個URL開始爬，然后把頁面中解析的URL鏈接加入待爬的URL集合中，我們需要用到隊列或者優先隊列來區別對待有些網站優先爬，有些網站后面爬。每爬去一個頁面，是使用深度優先還是廣度優先算法爬取下一個鏈接。每次發起網絡請求的時候，會涉及到一個DNS的解析過程（將網址轉換成IP）為了避免重復地DNS解析，我們需要把解析好的IP緩存下來。URL那么多，如何判斷哪些網址已經爬過，哪些沒有爬過，簡單點就是是使用字典結構來存儲已經爬過的的URL，但是如果碰過海量的URL時，字典占用的內存空間非常大，此時你需要考慮使用BloomFilter（布隆過濾器），用一個線程逐個地爬取數據，效率低得可憐，如果提高爬蟲效率，是使用多線程，多進程還是協程，還是分布式操作。
關于實踐
網上的爬蟲教程多如牛毛，原理大體相同，只不過是換個不同的網站進行爬取，你可以跟著網上的教程學習模擬登錄一個網站，模擬打卡之類的，爬個豆瓣的電影、書籍之類的。通過不斷地練習，從遇到問題到解決問題，這樣的收獲看書沒法比擬的。
爬蟲常用庫
- urllib、urlib2（Python中的urllib）python內建的網絡請求庫
- urllib3：線程安全的HTTP網絡請求庫
- requests：使用最廣泛的網絡請求庫，兼容py2和py3
- grequests：異步的requests
- BeautifulSoup：HTML、XML操作解析庫
- lxml：另一種處理HTML、XML的方式
- tornado：異步網絡框架
- Gevent：異步網絡框架
- Scrapy：最流行的爬蟲框架
- pyspider：爬蟲框架
- xmltodict：xml轉換成字典
- pyquery：像jQuery一樣操作HTML
- Jieba：分詞
- SQLAlchemy：ORM框架
- celery：消息隊列
- rq：簡單消息隊列
- python-goose：從HTML中提取文本
書籍
- 《圖解HTTP》
- 《HTTP權威指南》
- 《計算機網絡：自頂向下方法》
- 《用Python寫網絡爬蟲》
- 《Python網絡數據采集》
- 《精通正則表達式》
- 《Python入門到實踐》
- 《自己動手寫網絡爬蟲》
- 《Crypto101》
- 《圖解密碼技術》
教程
- Python爬蟲學習系列教程
- Python入門網絡爬蟲之精華版
- Python網絡爬蟲
- 爬蟲入門系列
來自天善智能社區專家劉志軍老師的回答。
本Python網絡爬蟲課程將教授如何用Python抓取、清理、儲存網絡數據，透過實際案例示范，傳授如何定義數據產品、從網絡萃取與清理數據、數據庫儲存、并進行初步數據分析的基礎方法，讓大數據分析不再只是紙上談兵。
講師介紹：
丘祐瑋(DavidChiu)–大數軟件(LargitData)創辦人，是一位致力于提供輿情分析服務的創業者與數據科學家，熟悉Hadoop,
Spark等巨量數據平臺，及擅長使用R,
Python與機器學習技術進行數據分析。曾任多家上市公司顧問及擔任知名大數據應用程序競賽的評審，自身著有Machine
主講導師：
崔慶才，北航碩士，Python技術控，百萬級熱度爬文博主。喜歡鉆研，熱愛生活，樂于分享。
課程介紹：
Python3爬蟲三大案例實戰分享：貓眼電影、街拍美圖、淘寶美食