您好，我是老馮，我來回答。

1、什么是網絡爬蟲

隨著大數據時代的來臨，網絡爬蟲在互聯網中的地位將越來越重要?；ヂ摼W中的數據是海量的，如何自動高效地獲取互聯網中我們感興趣的信息并為我們所用是一個重要的問題，而爬蟲技術就是為了解決這些問題而生的。

2、網絡爬蟲分類

網絡爬蟲按照實現的技術和結構可以分為通用網絡爬蟲、聚焦網絡爬蟲、增量式網絡爬蟲、深層網絡爬蟲等類型。在實際的網絡爬蟲中，通常是這幾類爬蟲的組合體。

3、網絡爬蟲作用

網絡爬蟲可以代替手工做很多事情，比如可以用于做搜索引擎，也可以爬取網站上面的圖片，比如有些朋友將某些網站上的圖片全部爬取下來，集中進行瀏覽，同時，網絡爬蟲也可以用于金融投資領域，比如可以自動爬取一些金融信息，并進行投資分析等。

4、網絡爬蟲實際應用舉例

2015年，有知乎網友對知乎的用戶數據進行了爬取，然后進行對應的數據分析，便得到了知乎上大量的潛在數據，比如：

知乎上注冊用戶的男女比例：男生占例多于60%。

知乎上注冊用戶的地區：北京的人口占據比重最大，多于30%。

知乎上注冊用戶從事的行業：從事互聯網行業的用戶占據比重最大，同樣多于30%。

除此之外，只要我們細心發掘，還可以挖掘出更多的潛在數據，而要分析這些數據，則必須要獲取到這些用戶數據，此時，我們可以使用網絡爬蟲技術輕松爬取到這些有用的用戶信息。

同樣，在2015年，有網友爬取了3000萬QQ空間的用戶信息，并同樣從中獲得了大量潛在數據，比如：

QQ空間用戶發說說的時間規律：晚上22點左右，平均發說說的數量是一天中最多的時候。

QQ空間用戶的出生月份分布：1月份和10月份出生的用戶較多。

QQ空間用戶的年齡階段分布：出生于1990年到1995年的用戶相對來說較多。

QQ空間用戶的性別分布：男生占比多于50%，女生占比多于30%，未填性別的占10%左右。

除了以上兩個例子之外，用戶爬蟲還可以做很多事情，比如爬取淘寶的用戶信息，可以分析淘寶用戶喜歡什么商品，從而更有利于我們對商品的定位等。

5、如何學習網絡爬蟲

除了學習網絡爬蟲入門篇，前端的知識必不可少，js解密，注入，逆向等。只會scrapy找不到工作的，DJANGO，flask也得熟悉

6、適合什么工作

1有爬蟲崗位，測試公司產品。

2為金融公司采集數據，需求。

3給跨境電商公司選品，分析競爭力等。

4利用爬蟲技術做兼職，收集數據賣錢。

小結：

1大數據，人工智能領域類企業。

2金融領域的企業。

3其他一些需要數據收集或分析的企業。

找工作渠道很多，招聘軟件，獵頭都比較靠譜。