這個(gè)要分好幾塊來講,首先我要說明的是大數(shù)據(jù)項(xiàng)目也是要有很多依賴的模塊的。每個(gè)模塊的軟件不一樣,下面分別聊一下。
一、大數(shù)據(jù)處理
這個(gè)是所謂大數(shù)據(jù)項(xiàng)目中最先想到的模塊。主要有spark,hadoop,es,kafka,hbase,hive等。
當(dāng)然像是flume,sqoop也都很常用。
這些軟件主要是為了解決海量數(shù)據(jù)處理的問題。軟件很多,我只列幾個(gè)經(jīng)典的,具體可以自行百度。
二、機(jī)器學(xué)習(xí)相關(guān)
大部分大數(shù)據(jù)項(xiàng)目都和機(jī)器學(xué)習(xí)相關(guān)。因此會(huì)考慮到機(jī)器學(xué)習(xí)的一些軟件,比如說sklearn,spark的ml,當(dāng)然還有自己實(shí)現(xiàn)的代碼。
三、web相關(guān)技術(shù)
大部分項(xiàng)目也都跑不了一個(gè)web的展示,因此web就很重要的,java的ssh,python的django都可以,這個(gè)看具體的項(xiàng)目組習(xí)慣了。
四、其它
還有一些很常用的東西,個(gè)人感覺不完全算是大數(shù)據(jù)特定使用范圍。反正我在做大數(shù)據(jù)項(xiàng)目的時(shí)候也都用到了。
比如說數(shù)據(jù)存儲(chǔ):redis,mysql。
數(shù)據(jù)可視化:echart,d3js。
圖數(shù)據(jù)庫:neo4j。
再來說說大數(shù)據(jù)平臺(tái)的軟件或者工具:
1、數(shù)據(jù)庫,大數(shù)據(jù)平臺(tái)類,星環(huán),做Hadoop生態(tài)系列的大數(shù)據(jù)平臺(tái)公司。Hadoop是開源的,星環(huán)主要做的是把Hadoop不穩(wěn)定的部分優(yōu)化,功能細(xì)化,為企業(yè)提供Hadoop大數(shù)據(jù)引擎及數(shù)據(jù)庫工具。
2、大數(shù)據(jù)存儲(chǔ)硬件類,浪潮,很老牌的IT公司,國資委控股,研究大數(shù)據(jù)方面的存儲(chǔ),在國內(nèi)比較領(lǐng)先。
3、云計(jì)算,云端大數(shù)據(jù)類,阿里巴巴,明星產(chǎn)品-阿里云,與亞馬遜AWS抗衡,做公有云、私有云、混合云。實(shí)力不差,符合阿里巴巴的氣質(zhì),很有野心。
4、數(shù)據(jù)應(yīng)用方面這個(gè)有很多,比如帆軟旗下的FineReport報(bào)表系統(tǒng)和FineBI大數(shù)據(jù)分析平臺(tái)等。
帆軟是商業(yè)智能和數(shù)據(jù)分析平臺(tái)提供商,從報(bào)表工具到商業(yè)智能,有十多年的數(shù)據(jù)應(yīng)用的底子,在這個(gè)領(lǐng)域很成熟,目前處于快速成長期,但是很低調(diào),是一家有技術(shù)有實(shí)力而且對(duì)客戶很真誠的公司。