蜘蛛是如何爬取頁(yè)面內(nèi)容的？

學(xué)過(guò)SEO的同學(xué)們都知道蜘蛛有兩種爬行方式：深度和廣度，又叫橫向抓取和縱向抓取，那么這個(gè)蜘蛛到底是怎么運(yùn)作的呢？

如果真的想要了解這方面的東西，就必須要了解程序，數(shù)據(jù)庫(kù)，編程語(yǔ)言。以PHP為例，其中有一個(gè)函數(shù)叫作file_get_contents，這個(gè)函數(shù)的作用就是獲取URL里面的內(nèi)容，并以文本的方式返回結(jié)果，當(dāng)然也可以用CURL。

然后，就可以利用程序里面的正則表達(dá)式，對(duì)鏈接的數(shù)據(jù)進(jìn)行提取、合并、去重等復(fù)雜操作，并將數(shù)據(jù)存入數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)有很多，比如：索引庫(kù)、收錄庫(kù)等等。

當(dāng)抓取數(shù)據(jù)完成上面操作后，自然也就得到了數(shù)據(jù)庫(kù)里面不存在的鏈接，接著，程序會(huì)發(fā)出另一個(gè)指令，抓取這些庫(kù)里面沒(méi)存的URL。直致頁(yè)面全部完成抓取。當(dāng)然更有可能的是抓取完成后，不再抓取。

在百度站長(zhǎng)平臺(tái)會(huì)有抓取頻次及抓取時(shí)間的數(shù)據(jù)，你應(yīng)該可以見(jiàn)到，每個(gè)蜘蛛抓取是毫無(wú)規(guī)律可言，但你通過(guò)日常觀察可以發(fā)現(xiàn)，頁(yè)面深度越深，被抓取到的概率越低。

蜘蛛雖然有隨機(jī)性和時(shí)效性，但也還是有許多規(guī)律可尋，比如流量對(duì)于蜘蛛有非常直接的正向作用，所以日常的操作當(dāng)中你也會(huì)發(fā)現(xiàn)，一旦有流量進(jìn)入到站點(diǎn)，蜘蛛也會(huì)隨著增多，這種蜘蛛表現(xiàn)尤其是在一些違規(guī)操作里面表現(xiàn)的更為明顯，比如百度刷排名！