謝邀,我覺得學習任何編程語言,都可以分為三部分,python網絡編程也不例外。
1.熟悉python的基礎語法,基本的編程思想,遞歸,迭代,貪心等,基礎的算法與數據結構,這些有過編程經驗的同學會比較容易理解,還有就是python的標準庫,功能豐富且實用,夯實python基礎,更好理解編程思想,才能愉快的開啟python編程之旅。
2.既然是網絡編程,那就需要學習網絡方面的知識,基本的網絡交互,TCP/IP協議,HTTP協議等,理解數據是如何在網絡上流動的,這部分可以深入學習一下urllib這個庫,試著去寫幾個爬蟲,會對網絡有更好的理解。
3.夯實了基礎,有了一定的編程經驗,這時候就需要學習一些框架,flask,django等web開發框架,主要學習目錄設計,以及架構設計。
另外,python能做的事情很多,不只是網絡編程,可以做自動化服務器運維,可以做數據分析與展現,還有現在風頭正盛的AI,都是首選python做數據訓練,模型優化的語言。編者,愿大家一同努力,打造中國的python社區,成長為更好的pythoner。
關于作者:Python King,Python高手大師
在使用Pandas之前,需要導入Pandas包。慣例是將pandas簡寫為pd,命令如下:
import pandas as pd
Pandas包含兩個主要的數據結構:Series和DataFrame。其中最常用的是DataFrame,下面我們先來學習一下DataFrame。
01 DataFrame入門
DataFrame是一個表格型的數據結構。每列都可以是不同的數據類型(數值、字符串、布爾值等)。
DataFrame既有行索引也有列索引,這兩種索引在DataFrame的實現上,本質上是一樣的。但在使用的時候,往往是將列索引作為區分不同數據的標簽。DataFrame的數據結構與SQL數據表或者Excel工作表的結構非常類似,可以很方便地互相轉換。
下面先來創建一個DataFrame,一種常用的方式是使用字典,這個字典是由等長的list或者ndarray組成的,示例代碼如下:
data={'A':['x','y','z'],'B':[1000,2000,3000],'C':[10,20,30]}df=pd.DataFrame(data,index=['a','b','c'])df
運行結果如圖3-2所示。
▲圖3-2
我們可以看到,DataFrame主要由如下三個部分組成。
數據,位于表格正中間的9個數據就是DataFrame的數據部分。索引,最左邊的a、b、c是索引,代表每一行數據的標識。這里的索引是顯式指定的。如果沒有指定,會自動生成從0開始的數字索引。列標簽,表頭的A、B、C就是標簽部分,代表了每一列的名稱。下文列出了DataFrame函數常用的參數。其中,“類似列表”代表類似列表的形式,比如列表、元組、ndarray等。一般來說,data、index、columns這三個參數的使用頻率是最高的。
data:ndarray/字典/類似列表 | DataFrame數據;數據類型可以是ndarray、嵌套列表、字典等index:索引/類似列表 | 使用的索引;默認值為range(n)columns:索引/類似列表 | 使用的列標簽;默認值為range(n)dtype:dtype | 使用(強制)的數據類型;否則通過推導得出;默認值為Nonecopy:布爾值 | 從輸入復制數據;默認值為False其中data的數據類型有很多種。
下文列舉了可以作為data傳給DataFrame函數的數據類型。
可以傳給DataFrame構造器的數據:
二維ndarray:可以自行指定索引和列標簽嵌套列表或者元組:類似于二維ndarray數據、列表或元組組成的字典:每個序列變成一列。所有序列長度必須相同由Series組成的字典:每個Series會成為一列。如果沒有指定索引,各Series的索引會被合并另一個DataFrame:該DataFrame的索引將會被沿用前面生成了一個DataFrame,變量名為df。下面我們來查看一下df的各個屬性值。
獲取df數據的示例代碼如下:
df.values
輸出結果如下:
array([['x', 1000, 10], ['y', 2000, 20], ['z', 3000, 30]], dtype=object)
獲取df行索引的示例代碼如下:
df.index
輸出結果如下:
Index(['a', 'b', 'c'], dtype='object')
獲取df列索引(列標簽)的示例代碼如下:
df.columns
輸出結果如下:
Index(['A', 'B', 'C'], dtype='object')
可以看到,行索引和列標簽都是Index數據類型。
創建的時候,如果指定了列標簽,那么DataFrame的列也會按照指定的順序進行排列,示例代碼如下:
df=pd.DataFrame(data,columns=['C','B','A'],index=['a','b','c'])df
運行結果如圖3-3所示。
▲圖3-3
如果某列不存在,為其賦值,會創建一個新列。我們可以用這種方法來添加一個新的列:
df['D']=10df
運行結果如圖3-4所示。
▲圖3-4
使用del命令可以刪除列,示例代碼如下:
del df['D']df
運行結果如圖3-5所示。
▲圖3-5
添加行的一種方法是先創建一個DataFrame,然后再使用append方法,代碼如下:
new_df=pd.DataFrame({'A':'new','B':4000,'C':40},index=['d'])df=df.append(new_df)df
運行結果如圖3-6所示。
▲圖3-6
或者也可以使用loc方法來添加行,示例代碼如下:
df.loc['e']=['new2',5000,50]df
運行結果如圖3-7所示。
▲圖3-7
loc方法將在后面的內容中詳細介紹。
索引的存在,使得Pandas在處理缺漏信息的時候非常靈活。下面的示例代碼會新建一個DataFrame數據df2。
df2=pd.DataFrame([1,2,3,4,5],index=['a','b','c','d','z'],columns=['E'])df2
運行結果如圖3-8所示。
▲圖3-8
如果現在想要合并df和df2,使得df有一個新的列E,那么可以使用join方法,代碼如下:
df.join(df2)
運行結果如圖3-9所示。
▲圖3-9
可以看到,df只接受索引已經存在的值。由于df2中沒有索引e,所以是NaN值,而且df2索引為z的值已經丟失了。為了保留df2中索引為z的值,我們可以提供一個參數,告訴Pandas如何連接。示例代碼如下:
df.join(df2,how='outer')
運行結果如圖3-10所示。
▲圖3-10
在上述代碼中,how='outer'表示使用兩個索引中所有值的并集。連接操作的其他選項還有inner(索引的交集)、left(默認值,調用方法的對象的索引值)、right(被連接對象的索引值)等。
在金融數據分析中,我們要分析的往往是時間序列數據。下面介紹一下如何基于時間序列生成DataFrame。為了創建時間序列數據,我們需要一個時間索引。這里先生成一個DatetimeIndex對象的日期序列,代碼如下:
dates=pd.date_range('20160101',periods=8)dates
輸出結果如下:
DatetimeIndex(['2016-01-01', '2016-01-02', '2016-01-03', '2016-01-04', '2016-01-05', '2016-01-06', '2016-01-07', '2016-01-08'],dtype='da tetime64[ns]', freq='D')
可以看到,使用Pandas的date_range函數生成的是一個DatetimeIndex對象。date_range函數的參數及說明如下所示:
start:字符串/日期時間 | 開始日期;默認為Noneend:字符串/日期時間 | 結束日期;默認為Noneperiods:整數/None | 如果start或者end空缺,就必須指定;從start開始,生成periods日期數據;默認為Nonefreq:dtype | 周期;默認是D,即周期為一天。也可以寫成類似5H的形式,即5小時。其他的頻率參數見下文tz:字符串/None | 本地化索引的時區名稱normalize:布爾值 | 將start和end規范化為午夜;默認為Falsename:字符串 | 生成的索引名稱date_range函數頻率的參數及說明如下所示:
B:交易日C:自定義交易日(試驗中)D:日歷日W:每周M:每月底SM:半個月頻率(15號和月底)BM:每個月份最后一個交易日CBM:自定義每個交易月MS:日歷月初SMS:月初開始的半月頻率(1號,15號)BMS:交易月初CBMS:自定義交易月初Q:季度末BQ:交易季度末QS:季度初BQS:交易季度初A:年末BA:交易年度末AS:年初BAS:交易年度初BH:交易小時H:小時T,min:分鐘S:秒L,ms:毫秒U,us:微秒N:納秒接下來,我們再基于dates來創建DataFrame,代碼如下:
df=pd.DataFrame(np.random.randn(8,4),index=dates,columns=list('ABCD'))df
運行結果如圖3-11所示。
▲圖3-11
有了df,我們就可以使用多個基于DataFrame的內建方法了,下面來看看相關的示例。
按列求總和,代碼如下:
df.sum()
輸出結果如下:
A 0.241727B -0.785350C -0.547433D -1.449231dtype: float64
按列求均值,代碼如下:
df.mean()
輸出結果如下:
A 0.030216B -0.098169C -0.068429D -0.181154dtype: float64
按列求累計總和,代碼如下:
df.cumsum()
運行結果如圖3-12所示。
▲圖3-12
使用describe一鍵生成多種統計數據,代碼如下:
df.describe()
運行結果如圖3-13所示。
▲圖3-13
可以根據某一列的值進行排序,代碼如下:
df.sort_values('A')
運行結果如圖3-14所示。
▲圖3-14
根據索引(日期)排序(這里是倒序),代碼如下:
df.sort_index(ascending=False)
運行結果如圖3-15所示。
▲圖3-15
選取某一列,返回的是Series對象,可以使用df.A,代碼如下:
df['A']
輸出結果如下:
2016-01-01 -1.1423502016-01-02 -0.8161782016-01-03 0.0302062016-01-04 1.9301752016-01-05 0.5715122016-01-06 0.2204452016-01-07 0.2921762016-01-08 -0.844260Freq: D, Name: A, dtype: float64
使用[]選取某幾行,代碼如下:
df[0:5]
運行結果如圖3-16所示。
▲圖3-16
根據標簽(Label)選取數據,使用的是loc方法,代碼如下:
df.loc[dates[0]]
輸出結果如下:
A -1.142350B -1.999351C 0.772343D -0.851840Name: 2016-01-01 00:00:00, dtype: float64
再來看兩個示例代碼。
df.loc[:,['A','C']]
運行結果如圖3-17所示。
▲圖3-17
df.loc['20160102':'20160106',['A','C']]
運行結果如圖3-18所示。
▲圖3-18
需要注意的是,如果只有一個時間點,那么返回的值是Series對象,代碼如下:
df.loc['20160102',['A','C']]
輸出結果如下:
A -0.816178C -0.595195Name: 2016-01-02 00:00:00, dtype: float64
如果想要獲取DataFrame對象,需要使用如下命令:
df.loc['20160102':'20160102',['A','C']]
運行結果如圖3-19所示。
▲圖3-19
上面介紹的是loc方法,是按標簽(索引)來選取數據的。有時候,我們會希望按照DataFrame的絕對位置來獲取數據,比如,如果想要獲取第3行第2列的數據,但不想按標簽(索引)獲取,那么這時候就可以使用iloc方法。
根據位置選取數據,代碼如下:
df.iloc[2]
輸出結果如下:
A 0.030206B 0.759953C -1.446549D -0.874364Name: 2016-01-03 00:00:00, dtype: float64
再來看一個示例:
df.iloc[3:6,1:3]
運行結果如圖3-20所示。
▲圖3-20
注意:對于DataFrame數據類型,可以使用[]運算符來進行選取,這也是最符合習慣的。但是,對于工業代碼,推薦使用loc、iloc等方法。因為這些方法是經過優化的,擁有更好的性能。
有時,我們需要選取滿足一定條件的數據。這個時候可以使用條件表達式來選取數據。這時傳給df的既不是標簽,也不是絕對位置,而是布爾數組(Boolean Array)。下面來看一下示例。
例如,尋找A列中值大于0的行。首先,生成一個布爾數組,代碼如下:
df.A>0
輸出結果如下:
2016-01-01 False2016-01-02 False2016-01-03 True2016-01-04 True2016-01-05 True2016-01-06 True2016-01-07 True2016-01-08 FalseFreq: D, Name: A, dtype: bool
可以看到,這里生成了一個Series類型的布爾數組。可以通過這個數組來選取對應的行,代碼如下:
df[df.A>0]
運行結果如圖3-21所示。
▲圖3-21
從結果可以看到,A列中值大于0的所有行都被選擇出來了,同時也包括了BCD列。
現在我們要尋找df中所有大于0的數據,先生成一個全數組的布爾值,代碼如下:
df>0
運行結果如圖3-22所示。
▲圖3-22
下面來看一下使用df>0選取出來的數據效果。由圖3-23可以看到,大于0的數據都能顯示,其他數據顯示為NaN值。
df[df>0]
運行結果如圖3-23所示。
▲圖3-23
再來看一下如何改變df的值。首先我們為df添加新的一列E,代碼如下:
df['E']=0df
運行結果如圖3-24所示。
▲圖3-24
使用loc改變一列值,代碼如下:
df.loc[:,'E']=1df
運行結果如圖3-25所示。
▲圖3-25
使用loc改變單個值,代碼如下:
df.loc['2016-01-01','E'] = 2df
運行結果如圖3-26所示。
▲圖3-26
使用loc改變一列值,代碼如下:
df.loc[:,'D'] = np.array([2] * len(df))df
運行結果如圖3-27所示。
▲圖3-27
可以看到,使用loc的時候,x索引和y索引都必須是標簽值。對于這個例子,使用日期索引明顯不方便,需要輸入較長的字符串,所以使用絕對位置會更好。這里可以使用混合方法,DataFrame可以使用ix來進行混合索引。比如,行索引使用絕對位置,列索引使用標簽,代碼如下:
df.ix[1,'E'] = 3df
運行結果如圖3-28所示。
▲圖3-28
ix的處理方式是,對于整數,先假設為標簽索引,并進行尋找;如果找不到,就作為絕對位置索引進行尋找。所以運行效率上會稍差一些,但好處是這樣操作比較方便。
對于ix的用法,需要注意如下兩點。
假如索引本身就是整數類型,那么ix只會使用標簽索引,而不會使用位置索引,即使沒能在索引中找到相應的值(這個時候會報錯)。如果索引既有整數類型,也有其他類型(比如字符串),那么ix對于整數會直接使用位置索引,但對于其他類型(比如字符串)則會使用標簽索引。總的來說,除非想用混合索引,否則建議只使用loc或者iloc來進行索引,這樣可以避免很多問題。
02 Series
Series類似于一維數組,由一組數據以及相關的數據標簽(索引)組成。示例代碼如下:
import pandas as pds=pd.Series([1,4,6,2,3])s
Out:
0 11 42 63 24 3
在這段代碼中,我們首先導入pandas并命名為pd,然后向Series函數傳入一個列表,生成一個Series對象。在輸出Series對象的時候,左邊一列是索引,右邊一列是值。由于沒有指定索引,因此會自動創建0到(N-1)的整數索引。也可以通過Series的values和index屬性獲取其值和索引。示例代碼如下:
s.values
Out:
array([1, 4, 6, 2, 3], dtype=int64)
s.index
Out:
Int64Index([0, 1, 2, 3, 4], dtype='int64')
當然,我們也可以對索引進行定義,代碼如下:
s=pd.Series([1,2,3,4],index=['a','b','c','d'])s
Out:
a 1b 2c 3d 4
在這里,我們將索引定義為a、b、c、d。這時也可以用索引來選取Series的數據,代碼如下:
s['a']
Out:
1
s[['b','c']]
Out:
b 2c 3
對Series進行數據運算的時候也會保留索引。示例代碼如下:
s[s>1]
Out:
b 2c 3d 4
s*3
Out:
a 3b 6c 9d 12
Series最重要的功能之一是在不同索引中對齊數據。示例代碼如下:
s1=pd.Series([1,2,3],index=['a','b','c'])s2=pd.Series([4,5,6],index=['b','c','d'])s1+s2
Out:
a NaNb 6c 8d NaN
Series的索引可以通過賦值的方式直接修改,示例代碼如下:
s.index
Out:
Index([u'a', u'b', u'c', u'd'], dtype='object')
s.index=['w','x','y','z']s.index
Out:
Index([u'w', u'x', u'y', u'z'], dtype='object')
s
Out:
w 1x 2y 3z 4
首先是基本語法的學習,這方面可以下載《簡明Python教程》學習,也可以到廖雪峰的官方網站學習。
然后,找個感興趣的方向深入研究相關的庫的使用。
Web開發方面,可以學習一下Flask和Django數據可視化方面,可以學習一下numpy、matplotlib圖形界面開發方面,可以學習一下Tk、GTK+、PyQt等Python是一門非常適合用來做編程入門和科學研究的編程語言,Python語法比較簡單(隨意)對初學者非常友好,不過學習Python用什么IDE比較好呢?
以前Python還沒有這么火,這幾年伴隨著人工智能越來越火,Python也越來越受到廣大程序員的歡迎,自然各路商業IDE開發商和開源組織,也對Python下手了,于是越來越多的Python IDE殺出來,精品也確實不少,選擇其實很多。
兩款商業級IDEPython是開源的,但是Python的IDE可以非常好的商業化版本,一個是曾經拿到年度最佳開發者工具的WingIDE,一個是大名鼎鼎的JetBrains旗下的PyCharm,兩款產品都做得非常好,但也都有劣勢。
WingIDE拿過年度最佳開發者工具,這款集成開發環境本身也是用Python寫的。早期寫Python大家主要還是用Vim、Emacs、sublime text等文本編輯器,搭配插件進行開發,確實缺少好的Python IDE,WingIDE進入這個領域之后,迅速獲得大批粉絲。WingIDE也有免費的社區版,用來日常學習和做作小項目綽綽有余。
PyCharm是JetBrains旗下的產品,不得不佩服JetBrains這家企業,真的是精品無數,基本上做一個工具就火一個工具,這家捷克軟件公司,最初是因為兩位創始人覺得當時的Java IDE都太爛了,于是就自己親自做了大名鼎鼎的IDEA,后來就一發而不可收拾了。所以JetBrains出品必屬精品,他家的IDE可以閉著眼睛用,不過使用他家的產品得是個“高富帥”,8G一下的內存就不要嘗試了,不同于WingIDE 4G內容就敢嘗試,PyCharm沒個8G內存真不夠用,畢竟這玩意兒是Java開發的。
不建議IDLE、建議VS Code都0202年了,你還沒有用過VS Code的話那就真的Out啦,VS Code是微軟官方做的一個開源文本編輯器,準確地說VS Code應該是介于文本編輯器和集成開發環境之間,相對于Editor功能上多了代碼理解這樣的功能,但又不像IDE那么臃腫。
VS Code對幾乎所有主流編程語言都有著非常好的支持,當然Python也不例外,而且VS Code的第一個Python插件還是微軟自己開發的。Visual Studio當然也能做Python開發,不過VS確實太龐大了,微軟用一個開源的VS Code做了很多VS不能做的事情,畢竟微軟想把強大的全功能VS還是藏在Windows平臺上。
IDLE是Python官方的IDE,當然這款工具非常輕量級,不過吧體驗是真的不太好,算不上一個很好的IDE,尤其是提示真的做得非常差,當然也能用。可是我覺得吧,我要是用這玩意兒,還不如繼續老老實實用Emacs或者Vim,可能還舒服一點。
Matlab替代品、數據科學用Spyder前段時間哈工大被禁用Matlab的消息弄得沸沸揚揚的,盡管目前還沒辦法完全替代matlab,spyder倒是能夠很大程度可以用來做替代品,事實上spyder這幾年越來越好用了,基本上就是對標matlab發展起來的。
用Spyder你可以直接安裝Anaconda,Anaconda里面的默認IDE就是Spyder,而且一切都是傻瓜式安裝非常方便,不用自己的倒來倒去搞各種環境。Anaconda和Jupyter notebook已經是數據分析領域的標準工具,這個基本上已經是一個行業認知了。
Anaconda是包管理器和環境管理器,也是一個開源的Python版本,直接安裝Anaconda解決一切問題,包含了conda、Python等眾多科學包和依賴項,總的來說就是一個省心。Anaconda在人工智能領域也有廣泛應用,Amazon首席科學家李沐、也就是《動手學深度學習》的作者,就喜歡這玩意兒。
總的來說,也看你用Python做什么,簡單的學習我主要推薦VS Code,這玩意兒確實很好用,也很強大,在StackOverflow開發者調查中,2019年最受歡迎的開發者工具中排名第一的就是VS Code,那么此時不用更待何時?