Python網(wǎng)絡爬蟲比較容易學習,讓人比較有成就感。下面我來說說我的看法,供大家參考參考:
1.精通Python網(wǎng)絡爬蟲 核心技術、框架與項目實戰(zhàn),韋瑋(書籍,容易入門,但知識點不是很全)
2.用Python寫網(wǎng)絡爬蟲(書籍,入門級)
3.Python爬蟲開發(fā)與項目實戰(zhàn)(書籍,知識點比較全,但對于沒學過編程或者說編程能力不強的朋友來說,不容易學)
4. Python + 網(wǎng)絡爬蟲開發(fā)實戰(zhàn)(書籍,比較難)
建議初學者以1,2為主要方向跟著學習,以3,4為輔助資料學習。
(小編有以上資料,需要的讀者朋友私聊我)
以上是我的看法,希望對讀者有幫助。
1. Django, 是一個開放源代碼的Web應用框架,由Python寫成。采用了MVT的軟件設計模式,即模型(Model),視圖(View)和模板(Template), 鼓勵快速開發(fā)和簡潔實用的設計。它由經(jīng)驗豐富的開發(fā)人員構建,它解決了Web開發(fā)的大部分麻煩,因此您可以專注于編寫應用程序而無需重新發(fā)明輪子。
2. Flask, 是一個輕量級的WSGI Web應用程序框架。它旨在使快速入門變得容易,并具有擴展到復雜應用程序的能力。它最初是圍繞Werkzeug 和Jinja的簡單包裝,并已成為最受歡迎的Python Web應用程序框架之一.Flask沒有默認使用的數(shù)據(jù)庫、窗體驗證工具。然而,F(xiàn)lask保留了擴增的彈性,可以用Flask-extension加入這些功能:ORM、窗體驗證工具、文件上傳、各種開放式身份驗證技術。
3. web2py, 最初被設計為一種教學工具,著重于易于使用和部署。因此,它沒有任何項目級配置文件。web2py的設計靈感來自Ruby on Rails和Django框架。像這些框架一樣,web2py專注于快速開發(fā),相對于配置方法更傾向于約定俗成,并遵循模型-視圖-控制器(MVC)的架構模式。
4. Sanic, 異步框架Sanic建立在uvloop之上,是一個簡單且開源的Python框架,專門開發(fā)用于通過異步請求處理提供快速的HTTP響應。因此,它是Python的異步框架。Sanic支持異步請求處理程序,使其與Python 3.5的async / await函數(shù)兼容。它不僅可以提高速度,還可以提供非阻塞功能。在一個流程和100個連接的基準測試中,Sanic能夠在一秒鐘內處理多達33,342個請求。
5. Tornado, 異步框架Tornado是一個開源Python框架和一個異步網(wǎng)絡庫。除了解決C10k問題(這僅意味著在任何給定時間處理10k連接)之外,異步框架還使用非阻塞網(wǎng)絡I / O。Python框架最初是為一家名為FriendFeed的公司開發(fā)的,該公司于2009年被Facebook收購。Tornado是構建要求高性能和數(shù)千用戶的應用程序的理想工具。
Python不僅開源,而且?guī)缀蹩梢栽谌魏纹脚_下運行,如我們所熟悉的:Windows/Unix/Linux/Macintosh。
在這里我們說一下,在Windows操作系統(tǒng)中安裝python。
我的操作系統(tǒng)為:Windows 7,32位為例
安裝python的時候,我們既可以從源碼安裝,同時也可以用已經(jīng)編譯好并且打包好的二進制版本進行安裝,這里我選擇的是后者。
步驟一 下載安裝包
我們從python官方網(wǎng)站:http://www.python.org下載python的安裝包
這里我選擇的是:python-3.3.2.msi
點擊即可下載獲取得到:python-3.3.2.msi安裝包。該安裝包大小:19.3 MB
步驟二 安裝
下載獲取到:python-3.3.2.msi安裝包,我們雙擊python-3.3.2.msi即可進行安裝操作
我安裝的目錄為:E:\Python33
點擊Next,即進行安裝,安裝過程需要幾分鐘
點擊Finish結束安裝。
步驟三 路徑設置
一般情況下,我們安裝好Python之后便可以直接使用。可以在命令行下輸入Python看是否可以進入Python的交互模式,
如果不能進入,則有可能是環(huán)境變量問題,需要做一些調整。
在Windows的路徑添加Python的目錄:
命令提示符 : 類似于環(huán)境變量路徑 %path%;C:Python ,回車;
或者您可以在圖形界面下操作設置環(huán)境變量,計算機->屬性->高級系統(tǒng)設置->高級->環(huán)境變量
步驟四 效果
安裝完后的安裝目錄文件:
到此,python的安裝就算是成功了。
之前對于pycharm中的各種解釋器的設置一頭霧水,今天來總結一下。
在建立新的project的時候有兩種方式,一種是conda環(huán)境,一種是virtual環(huán)境。其實這兩種方式都可以將不同的project和環(huán)境隔離開。這也就意味著我們可以將project可以設置成我們任意想要的版本形式,比如我可以在A project中用的是python2.7.在Bproject 中用的是python 3.3.2這兩個project互不影響沖突.但是有一個問題.我們怎么把第三方庫/包安裝在指定的conda enviroment 中.我之前安裝的第三方庫都裝在哪里了?
我們這里測試建立一個conda enviroment .project location為 home/quinn/test conda enviroment location為/home/quinn/anaconda3/envs/test python version 為3.3.2.這里的版本也是可選的.這樣我們就替代了在anaconda prompt 中創(chuàng)建envroment了 conda create --name test python=3.6了我們現(xiàn)在可以看到在anaconda navigator中已經(jīng)有了這個環(huán)境了.這就意味著我們又創(chuàng)建了一個新隔離的環(huán)境.而virtual environment可以選擇各種編譯器.可以是你在conda中生成的一個環(huán)境,也可以是ubuntu自帶的python解釋器.
為了方便,我先建立幾個常用的conda環(huán)境,比如 python3.3.2 python2.7然后以后在創(chuàng)建project的時候,直接在exixting interpreter 中選擇就可以.同理如果想在existing中選擇本地local的話,可以不用再創(chuàng)建了.直接在virtual 中選一個曾經(jīng)建立好的irtual environment 中建立就可以.或者在conda environment中,選擇home/quinn/anaconda3/envs/python36/bin/python3.3.2.就可以了
我們可以用conda install packname 來安裝第三方庫或者 anaconda search -t conda pillow
再用show指令來安裝
將安裝好的第三方庫加載到環(huán)境中,用安裝python第三方庫
現(xiàn)在還有一個問題,怎么在ubunu prompt中更改python版本?也就是更改base environment的版本
還有一個就是之前conda安裝的包都安裝到哪里了?
安裝到anaconda3/pkgs里面了,里面是各種包
在終端使用pip下載的第三方package將存放在以下目錄:
/usr/local/lib/python3.5/dist-packages
只要將上圖中對應的package復制到venv中的對應的site-package文件夾即可,該文件夾的目錄如下
~/venv/lib/python3.5/site-package(我的python interprefer為3.3.2版本)
1. 如果你經(jīng)濟條件較好,那么建議去你專業(yè)的Python機構系統(tǒng)的學習該編程。
2.如果還是學生,那我建議,應該多買一些Python書籍,同時在網(wǎng)絡上找一些教學視頻。通過看書與看視頻相結合。最好把看書作為重點,因為教學視頻講的東西不是你自己的,你要通過看書來消化。
3.同時不要忘記一點,一定要多動手敲代碼,編程語言都是需要自己動手來完成,多練。
我這有豐富的Python教學視頻,如果大家有需要的,
可以點波關注,同時下方評論,我想要Python教學視頻。
然后把百度云賬號發(fā)我,我會免費分享給大家。