php如何寫爬蟲？

據(jù)我所知，很多第三庫都可以實現(xiàn)你所要求的這些php爬蟲特征。

如phpQuery，phpCrawl，phpSpider，Snoopy。

如果使用curl，也是相當(dāng)不錯的。但你要做的事情更多。它只負(fù)責(zé)請求和下載，并沒有實現(xiàn)爬蟲的核心。別的事情都要自己做，至少你得先封裝一下。

如果你任務(wù)比較緊迫，建議選擇那些第三方庫，集成一下，能用先用著。

業(yè)務(wù)時間還是了解一下爬蟲的方方面面比較好。

xpath簡單，拿到源碼，交給phpQuery就可以，像使用jQuery一樣，不需要正則。還有一些是需要動態(tài)渲染才能拿到數(shù)據(jù)的，得用無頭瀏覽器，如phantomjs，去處理。

速度不會成為問題，有問題也是因為速度太快，被網(wǎng)站發(fā)覺然后屏蔽你，而不是太慢。哈哈。

個人認(rèn)為比較難的是怎么針對反爬蟲策略，怎么做全自動化。還是建議你去看幾本關(guān)于爬蟲的書。