您好！

不是一些網(wǎng)站不會(huì)屏蔽搜索引擎的爬蟲(chóng)，而是絕大部分網(wǎng)站都不會(huì)屏蔽的。除非你是特定行業(yè)，像淘寶就屏蔽了搜索引擎抓取內(nèi)頁(yè)，這個(gè)也很好理解，淘寶如果不屏蔽的話，就會(huì)造成商家的店鋪以及商品被抓取，那么商家就會(huì)去做百度競(jìng)價(jià)，而不會(huì)做淘寶聯(lián)盟的推廣，這樣淘寶豈不是得不償失？

一般的網(wǎng)站都不屏蔽搜索引擎的抓取，主要是因?yàn)樾枰阉饕鎺?lái)流量呀！！！！