現(xiàn)在學(xué)Java大數(shù)據(jù)？

時(shí)代背景

大數(shù)據(jù)在兩三年前是當(dāng)時(shí)最熱門的崗位和現(xiàn)在的區(qū)塊鏈和人工智能一樣備受追捧。而三年后的今天或以后大數(shù)據(jù)前景如何，我們可以結(jié)合數(shù)據(jù)來(lái)分析一下：

首先你要明白現(xiàn)在的人工智能也是建立在大數(shù)據(jù)的基礎(chǔ)上的，人工智能的訓(xùn)練模型須通過(guò)大數(shù)據(jù)去訓(xùn)練。

據(jù)LinkedIn發(fā)布的《2016年中國(guó)互聯(lián)網(wǎng)最熱職位人才報(bào)告》顯示未來(lái)中國(guó)基礎(chǔ)性數(shù)據(jù)分析人才缺口將達(dá)到1400萬(wàn)。而且大數(shù)據(jù)理論與實(shí)際操作存在斷層，高等學(xué)校教育并不能滿足企業(yè)實(shí)際應(yīng)用，有報(bào)告指出，數(shù)據(jù)分析師已成當(dāng)下中國(guó)互聯(lián)網(wǎng)行業(yè)需求最旺盛的六類人才職位之一。

數(shù)據(jù)分析師已成當(dāng)下中國(guó)互聯(lián)網(wǎng)行業(yè)需求最旺盛的六類人才職位之一，數(shù)據(jù)表明，數(shù)據(jù)分析人才的供給指數(shù)僅為0.05，屬于高度稀缺。此外，數(shù)據(jù)分析人才的跳槽速度也最快，平均跳槽速度為19.8個(gè)月。

大數(shù)據(jù)

大數(shù)據(jù)的概念是指單臺(tái)計(jì)算機(jī)的運(yùn)算能力和存儲(chǔ)能力不能夠支撐的數(shù)據(jù)量，一般要達(dá)到10-100TB通常稱為大數(shù)據(jù)的門檻。

大數(shù)據(jù)的作用

數(shù)據(jù)分析

大數(shù)據(jù)對(duì)于企業(yè)來(lái)講，數(shù)據(jù)分析的可以輔助企業(yè)優(yōu)化流程，降低成本，提高營(yíng)業(yè)額，往往我們把這類數(shù)據(jù)分析定義為商業(yè)數(shù)據(jù)分析。商業(yè)數(shù)據(jù)分析的目標(biāo)是利用大數(shù)據(jù)為所有職場(chǎng)人員做出迅捷、高質(zhì)、高效的決策，提供可規(guī)?；慕鉀Q方案。商業(yè)數(shù)據(jù)分析的本質(zhì)在于創(chuàng)造商業(yè)價(jià)值 ，驅(qū)動(dòng)企業(yè)業(yè)務(wù)增長(zhǎng)。

商業(yè)決策

大數(shù)據(jù)的所有用途中最有意義的還是用于商業(yè)決策，通過(guò)數(shù)據(jù)來(lái)判斷應(yīng)該做什么。而商業(yè)數(shù)據(jù)分析的目的，就是商業(yè)結(jié)果。當(dāng)數(shù)據(jù)分析的產(chǎn)出可以直接轉(zhuǎn)化為決策，或直接利用數(shù)據(jù)做出決策，那么這才能直接體現(xiàn)出數(shù)據(jù)分析的價(jià)值。

學(xué)習(xí)方案

這里介紹幾種對(duì)實(shí)時(shí)性和持久化等有不同需求的場(chǎng)景的方案：

指標(biāo)

1. 延時(shí) ， 指數(shù)據(jù)從產(chǎn)生到運(yùn)算產(chǎn)生結(jié)果的時(shí)間，“快”應(yīng)該主要指這個(gè)。

2. 吞吐， 指系統(tǒng)單位時(shí)間處理的數(shù)據(jù)量。

有持久化需求且對(duì)實(shí)時(shí)性要求指標(biāo)不太高的方案：

spark + hadoop

Spark是這樣處理數(shù)據(jù)的，當(dāng)數(shù)據(jù)龐大時(shí)，把計(jì)算過(guò)程傳遞給數(shù)據(jù)要比把數(shù)據(jù)傳遞給計(jì)算過(guò)程要更富效率。每個(gè)節(jié)點(diǎn)存儲(chǔ)（或緩存）它的數(shù)據(jù)集，然后任務(wù)被提交給節(jié)點(diǎn)。

所以這是把過(guò)程傳遞給數(shù)據(jù)。這和Hadoop map/reduce非常相似，除了積極使用內(nèi)存來(lái)避免I/O操作，以使得迭代算法性能更高。

對(duì)實(shí)時(shí)性要求高的方案：

Twitter Storm

Storm是一個(gè)分布式流計(jì)算引擎。每個(gè)節(jié)點(diǎn)實(shí)現(xiàn)一個(gè)基本的計(jì)算過(guò)程，而數(shù)據(jù)項(xiàng)在互相連接的網(wǎng)絡(luò)節(jié)點(diǎn)中流進(jìn)流出。Storm是只要接收到數(shù)據(jù)就實(shí)時(shí)處理并分發(fā)。

-----------------------------------

本人現(xiàn)處廣州從事互聯(lián)網(wǎng)工作多年，資深技術(shù)人員、管理人員。愿結(jié)識(shí)有互聯(lián)網(wǎng)業(yè)務(wù)的技術(shù)人員或企業(yè)人員、或有想法的創(chuàng)業(yè)人員。