反爬蟲的主要工作？

（1）主動型反爬蟲:開發者有意識地使用技術手段區分正常用戶和爬蟲,并限制爬蟲對網站的議問行為,如驗證請求頭信息、限制訪問頻率、使用驗證碼等。

（2）被動型反爬蟲:為了提升用戶體驗或節省資源,用一些技術間接提高爬蟲訪問難度的行為比如數據分段加載、點擊切換標簽頁、鼠標懸停預覽數據等。

（3）除此之外,還可以從特點上對反爬蟲進行更細致的劃分,如信息校驗型反爬蟲、動態渲染型反爬蟲、文本混淆型反爬蟲、特征識別型反爬蟲等。需要注意的是,同一種限制現象可以被歸類到不同的反爬蟲類型中,比如通過JavaScript 生成隨機字符串并將字符串放在請求頭中發送給服務器,由服務器校驗客戶端身份的這種限制手段既可以說是信息校驗型反爬蟲,又可以說是動態渲染反爬蟲。

反爬蟲不僅要了解網站流量情況,還需要了解爬蟲工程師常用的手段,并從多個方面進行針對性的防護。反爬蟲的方案設計、實施和測試等都需要耗費大量的時間,而且往往需要多個部門配合才自完成。從這個角度來看,除了技術難度外,時間成本也是非常高的。