python網(wǎng)絡(luò)爬蟲(chóng)總的來(lái)說(shuō)有五個(gè)大的方面：
前端知識(shí)——基礎(chǔ)爬蟲(chóng)——框架爬蟲(chóng)——分布式爬蟲(chóng)——突破反爬蟲(chóng)
1.前端知識(shí)：“網(wǎng)絡(luò)爬蟲(chóng)”很明顯對(duì)象是網(wǎng)絡(luò)，也就是網(wǎng)頁(yè)。說(shuō)到網(wǎng)頁(yè)，這里就涉及到了前端的知識(shí)了，不過(guò)大家也不要慌，只要懂點(diǎn)必要的HTML5框架、網(wǎng)頁(yè)的http請(qǐng)求、還有JavaScript、css3的知識(shí)就可以了，以這樣的水平也是可以學(xué)會(huì)爬蟲(chóng)的啦。當(dāng)然，如果要非常精通python網(wǎng)絡(luò)爬蟲(chóng)的話，深入學(xué)習(xí)前端知識(shí)是必要的。
2.基礎(chǔ)爬蟲(chóng)：（1）基礎(chǔ)庫(kù)：urllib模塊/requests第三方模塊首先爬蟲(chóng)就是要從網(wǎng)頁(yè)上把我們需要的信息抓取下來(lái)的，那么我們就要學(xué)習(xí)urllib/requests模塊，這兩種模塊是負(fù)責(zé)爬取網(wǎng)頁(yè)的。這里大家覺(jué)得哪一種用的習(xí)慣就用哪一種，選擇一種精通就好了。小編推薦讀者使用使用requests模塊，因?yàn)檫@一種簡(jiǎn)便很多，容易操作、容易理解，所以requests被稱為“人性化模塊”。
（2）多進(jìn)程、多線程和協(xié)程：為什么要學(xué)著三個(gè)知識(shí)呢？假如你要爬取200萬(wàn)條的數(shù)據(jù)，使用一般的單進(jìn)程或者單線程的話，你爬取下載這些數(shù)據(jù)，也許要一個(gè)星期或是更久。試問(wèn)這是你想要看到的結(jié)果嗎？顯然單進(jìn)程和單線程不要滿足我們追求的高效率，太浪費(fèi)時(shí)間了。只要設(shè)置好多進(jìn)程和多線程，爬取數(shù)據(jù)的速度可以提高10倍甚至更高的效率。
（3）網(wǎng)頁(yè)解析提取庫(kù)：xpath/BeautifulSoup4/正則表達(dá)式通過(guò)前面的（1）和（2）爬取下來(lái)的是網(wǎng)頁(yè)源代碼，這里有很多并不是我們想要的信息，所以需要將沒(méi)用的信息過(guò)濾掉，留下對(duì)我們有價(jià)值的信息。這里有三種解析器，三種在不同的場(chǎng)景各有特色也各有不足，總的來(lái)說(shuō)，學(xué)會(huì)這三種靈活運(yùn)用會(huì)很方便的。推薦理解能力不是很強(qiáng)的朋友或是剛?cè)腴T爬蟲(chóng)的朋友，學(xué)習(xí)BeautifulSoup4是很容易掌握并能夠快速應(yīng)用實(shí)戰(zhàn)的，功能也非常強(qiáng)大。
（4）反屏蔽：請(qǐng)求頭/代理服務(wù)器/cookie在爬取網(wǎng)頁(yè)的時(shí)候有時(shí)會(huì)失敗，因?yàn)閯e人網(wǎng)站設(shè)置了反爬蟲(chóng)措施了，這個(gè)時(shí)候就需要我們?nèi)窝b自己的行為，讓對(duì)方網(wǎng)站察覺(jué)不到我們就是爬蟲(chóng)方。請(qǐng)求頭設(shè)置，主要是模擬成瀏覽器的行為；IP被屏蔽了，就需要使用代理服務(wù)器來(lái)破解；而cookie是模擬成登錄的行為進(jìn)入網(wǎng)站。
（5）異常：超時(shí)處理/異常處理，這里不做介紹了，自己去了解一下。（6）數(shù)據(jù)儲(chǔ)存庫(kù)：文件系統(tǒng)儲(chǔ)存/MySQL/MongoDB數(shù)據(jù)的儲(chǔ)存大概就這三種方式了，文件系統(tǒng)儲(chǔ)存是運(yùn)用了python文件操作來(lái)執(zhí)行的；而MySQL要使用到數(shù)據(jù)庫(kù)創(chuàng)建表格來(lái)儲(chǔ)存數(shù)據(jù)；MongoDB在爬蟲(chóng)里是非常好的儲(chǔ)存方式，分布式爬蟲(chóng)就是運(yùn)用了MongoDB來(lái)儲(chǔ)存的。各有特色，看自己需要哪種，在靈活運(yùn)用。
（7）動(dòng)態(tài)網(wǎng)頁(yè)抓取：Ajax/PhantomJS/Selenium這三個(gè)知識(shí)點(diǎn)（8）抓包：APP抓包/API爬蟲(chóng)3.框架爬蟲(chóng)：主流且熱門的scrapy框架/人性化的pyspider框架框架不止這兩種，但是很多時(shí)候就只用到了這些框架，所以把這兩種掌握熟悉了就可以了。
4.分布式爬蟲(chóng)：python操作Redis/scrapy操作Redis5.突破反爬蟲(chóng)：useragent池/禁用cookies/設(shè)置下載延時(shí)和自動(dòng)限速/代理IP池/tor代理/分布式下載器以上就是python網(wǎng)絡(luò)爬蟲(chóng)的從入門到精通的知識(shí)框架，希望這篇文章能讓讀者高效的學(xué)好python網(wǎng)絡(luò)爬蟲(chóng)。
詳細(xì)的可以看一下我的這篇文章，鏈接是：https://www.toutiao.com/i6611872532448412164/
也可以關(guān)注我，就可以學(xué)習(xí)其他關(guān)于爬蟲(chóng)的知識(shí)，