什么數(shù)據(jù)值得爬取進(jìn)行分析？

首先爬取大數(shù)據(jù)現(xiàn)在一般都是用python，所以你先要在linux上搭python的環(huán)境，最好是3.x的版本。

然后Python有很多爬蟲的框架，比較好用，比如scrapy。但是框架有了之后還要有一些其他的知識(shí)，比如正則表達(dá)式，因?yàn)榕孪聛?lái)的數(shù)據(jù)需要用正則去解析。

解析完之后要對(duì)數(shù)據(jù)清洗，這個(gè)工作python的pandas基本都能完成。

清洗完之后要入庫(kù)，如果數(shù)據(jù)量不是太大的話，傳統(tǒng)的數(shù)據(jù)庫(kù)mysql什么的就可以了，如果數(shù)據(jù)量很大，還要搭Hadoop，這個(gè)就有點(diǎn)麻煩了，還要用sqoop。 基本流程就是這樣，如果有疑問(wèn)，可以在討論。