自學(xué)Python來做出一個能爬些信息的爬蟲需要多久時間呢？

如果知識單一的需求，不考慮深度學(xué)習(xí)的話。大概兩個小時左右，大概的流程是，下載安裝python，15分鐘左右找到爬蟲的教程，15分鐘pip庫，然后就開始復(fù)制粘貼修改目標(biāo)網(wǎng)址和數(shù)據(jù)存儲路徑。然后開始爬一直到結(jié)束。整個過程2小時。

我覺得帶著目的去學(xué)習(xí)，是最有效的學(xué)習(xí)方法。

學(xué)習(xí)python爬蟲的話必備知識點如下：

最首先要學(xué)的是基本的python語法知識學(xué)習(xí)python爬蟲經(jīng)常用到的幾個內(nèi)之苦：urllib、http這些用于下載網(wǎng)頁學(xué)習(xí)正則表達(dá)式re、BeautifulSoup（bs4）、Xpath等網(wǎng)頁解析工具之后就可以了解一些簡單的網(wǎng)站爬取，可以從百度開始。了解爬取數(shù)據(jù)的過程在上一步之后就可以了解一些爬蟲的反爬機制。header，robot，時間間隔，代理ip。隱含字段等等之后還要了解一些特殊的網(wǎng)站爬取，解決登陸問題比如cookie還有動態(tài)頁面js模擬等問題學(xué)習(xí)selenium自動化工具，目的是可以應(yīng)對異步加載頁面在之后就是爬蟲和數(shù)據(jù)庫之間的結(jié)合，如何將我們爬取的數(shù)據(jù)進行存儲，Mysql還要學(xué)習(xí)多線程和異步，這樣可以提高效率還有要了解的是爬蟲的框架如果有較大的數(shù)據(jù)需求的話，要學(xué)習(xí)redis分布式

第一個爬蟲建議從urllib開始，應(yīng)該很多人的第一個爬蟲代碼都是從這里開始的。短短的幾行代碼就可以搞定一個看似很難的任務(wù)。從這里給大家介紹一下：

urllib庫：這是python的內(nèi)置庫，可以說爬蟲非常重要的一個部分。這個內(nèi)之苦可以使用的就是完成向服務(wù)器發(fā)出請求并且獲得網(wǎng)頁的功能。這里說一下，python2.x和3.x是有一些出入的。

如何用python抓取一個指定的頁面？

首先創(chuàng)建一個urllib2_test01.py，然后輸入下面的代碼：

最簡單的獲取一個url信息代碼只需要4行就可以搞定的，執(zhí)行寫的python代碼：

會得到下面的內(nèi)容：

下面是編輯urllib_test03.py的過程

這里知識一個初步的介紹。黑馬程序員的視頻庫里面好像有15分鐘學(xué)習(xí)爬蟲的視頻，大家可以作為參考。

剛剛寫的代碼，打開之后看的不清楚，又重新更新的了圖片。