這里介紹一種簡單的方式—BeautifulSoup，利用BeautifulSoup將爬蟲獲取到的html頁面轉化為樹形結構，然后再根據需要提取標簽的內容及屬性，不需要正則表達式，下面我簡單介紹一下BeautifulSoup安裝和使用，實驗環境win10+python3.6+pycharm5.0，主要內容如下：

1.安裝bs4，這里直接在cmd窗口輸入命令“pip install bs4”就行，如下，很快就能安裝完畢：

2.安裝成功后，我們就可以進行測試了，為了更好地說明問題，這里假設爬取的數據如下，內容比較簡單：

對應的網頁源碼結構如下：

根據網頁結構，解析代碼如下，這里我是本地打開html文件，爬蟲的話，直接使用requests請求對應的頁面（requests.get(url)），解析的方式是一樣的：

程序運行截圖如下，已經成功獲取到數據：

至此，我們就完成了利用BeautifulSoup來解析網頁內容，整個過程不需要正則表達式。總的來說，這種方式很簡單，對于常見的簡單的頁面來說，完全夠用了（不過，正則表達式的使用范圍比較廣，建議還是認真學習一下），網上也有相關教程和資料，感興趣的可以搜一下，希望以上分享的內容能對你有所幫助吧。

是爬蟲工具箱，

Beautiful Soup 是一個可以從HTML或XML文件中提取數據的Python庫.它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.Beautiful Soup會幫你節省數小時甚至數天的工作時間.你可能在尋找 Beautiful Soup3 的文檔,Beautiful Soup 3 目前已經停止開發,官網推薦在現在的項目中使用Beautiful Soup 4。

WebMagic是一個開源的Java垂直爬蟲框架，目標是簡化爬蟲的開發流程，讓開發者專注于邏輯功能的開發。

設計原理

webmagic采用完全模塊化的設計，功能覆蓋整個爬蟲的生命周期(鏈接提取、頁面下載、內容抽取、持久化)，支持多線程抓取，分布式抓取，并支持自動重試、自定義UA/cookie等功能。

webmagic包含頁面抽取功能，開發者可以使用css selector、xpath和正則表達式進行鏈接和內容的提取，支持多個選擇器鏈式調用。

使用maven

webmagic使用maven管理依賴，在項目中添加對應的依賴即可使用webmagic：

WebMagic 使用slf4j-log4j12作為slf4j的實現.如果你自己定制了slf4j的實現，請在項目中去掉此依賴。

項目結構

webmagic主要包括兩個包：

webmagic-corewebmagic核心部分，只包含爬蟲基本模塊和基本抽取器。webmagic-core的目標是成為網頁爬蟲的一個教科書般的實現。

webmagic-extensionwebmagic的擴展模塊，提供一些更方便的編寫爬蟲的工具。包括注解格式定義爬蟲、JSON、分布式等支持。

webmagic還包含兩個可用的擴展包，因為這兩個包都依賴了比較重量級的工具，所以從主要包中抽離出來，這些包需要下載源碼后自己編譯。

css選擇器更好用，他在傳感器方面有一定升級，雖然說他們的處理器都是相同的，但是傳感器也會。性能表現，因為傳感區過低會導致接觸不靈敏，使用起來非常麻煩，系統流暢性也會。他用的是相對比較好的傳感去。所以使用起來流程度非常高，不會出現卡頓的情況，另外他對門號的優化也做得比較好。續航更加方便。