爬蟲工程師要學什么技術？

爬蟲工程師的起點是數據獲取，提升是數據分析。

1、數據獲取

顯然這個也是爬蟲工程師叫法的來源。現在最流行的爬取語言都是Python。所以首先要學習 Python 的基礎語法，然后掌握 request、xpath、bs4 等常用的爬蟲庫。掌握了這些技術就可以進行簡單的網站爬取了。

大致的爬蟲流程分為：分析網站請求、發生請求、解析數據、存儲數據。這些根據實際業務需要進行就可以。

一般情況下網站是不希望我們隨便爬取的。我們不可能像谷歌，百度那樣，嚴格的執行robot協議。相反，爬蟲工程師的核心價值就體現在對反爬措施的攻克。各種偽裝，包括：網絡數據包偽裝，驗證碼破解等等。

總之就一句話，偽裝成個人，不能讓網站發現我們是機器。這里面涉及人工智能，圖像學，網絡通信等等技術。這些都需要很強的相關技術背景。

網站很多都是動態的，不了解js基本寸步難行。一定要深入學習。

在實際的爬取過程中還需要考慮的數據量的問題。這樣中間件,存儲，緩存等技術也需要掌握。

2 數據分析

數據分析好像超出這個問題的范疇了。但肯定是爬蟲工程師上升的一個方向。