1、將xpath轉(zhuǎn)換為css選擇器，pycharm中xpath使用教程？

打開pycharm這個(gè)軟件。

2.

然后再頂部導(dǎo)入etree這個(gè)庫(kù),需要借助這個(gè)庫(kù)來實(shí)現(xiàn)xpath的功能。

3.

接著定義一段html代碼,等一下,我們要使用xpath功能去獲取div標(biāo)簽里面的內(nèi)容。

4.

然后通過HTML方法解析html代碼。

2、webmagic詳解？

WebMagic是一個(gè)開源的Java垂直爬蟲框架，目標(biāo)是簡(jiǎn)化爬蟲的開發(fā)流程，讓開發(fā)者專注于邏輯功能的開發(fā)。

設(shè)計(jì)原理

webmagic采用完全模塊化的設(shè)計(jì)，功能覆蓋整個(gè)爬蟲的生命周期(鏈接提取、頁(yè)面下載、內(nèi)容抽取、持久化)，支持多線程抓取，分布式抓取，并支持自動(dòng)重試、自定義UA/cookie等功能。

webmagic包含頁(yè)面抽取功能，開發(fā)者可以使用css selector、xpath和正則表達(dá)式進(jìn)行鏈接和內(nèi)容的提取，支持多個(gè)選擇器鏈?zhǔn)秸{(diào)用。

使用maven

webmagic使用maven管理依賴，在項(xiàng)目中添加對(duì)應(yīng)的依賴即可使用webmagic：

WebMagic 使用slf4j-log4j12作為slf4j的實(shí)現(xiàn).如果你自己定制了slf4j的實(shí)現(xiàn)，請(qǐng)?jiān)陧?xiàng)目中去掉此依賴。

項(xiàng)目結(jié)構(gòu)

webmagic主要包括兩個(gè)包：

webmagic-corewebmagic核心部分，只包含爬蟲基本模塊和基本抽取器。webmagic-core的目標(biāo)是成為網(wǎng)頁(yè)爬蟲的一個(gè)教科書般的實(shí)現(xiàn)。

webmagic-extensionwebmagic的擴(kuò)展模塊，提供一些更方便的編寫爬蟲的工具。包括注解格式定義爬蟲、JSON、分布式等支持。

webmagic還包含兩個(gè)可用的擴(kuò)展包，因?yàn)檫@兩個(gè)包都依賴了比較重量級(jí)的工具，所以從主要包中抽離出來，這些包需要下載源碼后自己編譯。

3、xpath有什么用？

XPath即為XML路徑語(yǔ)言，它是一種用來確定XML文檔中某部分位置的語(yǔ)言。

XPath是一門在XML文檔中查找信息的語(yǔ)言。XPath可用來在XML文檔中對(duì)元素和屬性進(jìn)行遍歷。

XPath基于XML的樹狀結(jié)構(gòu)，提供在數(shù)據(jù)結(jié)構(gòu)樹中找尋節(jié)點(diǎn)的能力。起初XPath的提出的初衷是將其作為一個(gè)通用的、介于XPointer與XSL間的語(yǔ)法模型。但是XPath很快的被開發(fā)者采用來當(dāng)作小型查詢語(yǔ)言。

4、xpath定位的原理？

xpath即為XML路徑語(yǔ)言，它是一種用來確定XML（標(biāo)準(zhǔn)通用標(biāo)記語(yǔ)言的子集）文檔中某部分位置的語(yǔ)言。

xpath基于XML的樹狀結(jié)構(gòu)，提供在數(shù)據(jù)結(jié)構(gòu)樹中找尋節(jié)點(diǎn)的能力。

起初xpath的提出的初衷是將其作為一個(gè)通用的、介于XPointer與XSL間的語(yǔ)法模型。

但是xpath很快的被開發(fā)者采用來當(dāng)作小型查詢語(yǔ)言。

選取節(jié)點(diǎn)xpath使用路徑表達(dá)式在XML文檔中選取節(jié)點(diǎn)。節(jié)點(diǎn)是通過沿著路徑或者step來選取的。