大數(shù)據(jù)是我的主要研究方向之一，這個(gè)問(wèn)題也比較有代表性，所以我來(lái)回答一下。
大數(shù)據(jù)項(xiàng)目不僅涉及到數(shù)據(jù)的存儲(chǔ)、安全、分析，還涉及到數(shù)據(jù)的采集、整理、呈現(xiàn)和應(yīng)用等內(nèi)容，并且與物聯(lián)網(wǎng)、云計(jì)算關(guān)系密切。下面我從大數(shù)據(jù)的產(chǎn)業(yè)鏈入手，來(lái)談一下如何開(kāi)始學(xué)習(xí)大數(shù)據(jù)。
大數(shù)據(jù)的產(chǎn)業(yè)鏈
我們談到大數(shù)據(jù)首先要了解到底什么是大數(shù)據(jù)，大數(shù)據(jù)都涉及到哪些技術(shù)，大數(shù)據(jù)都能做什么事情？
早期我們?cè)谡務(wù)摯髷?shù)據(jù)的時(shí)候，我們更多的強(qiáng)調(diào)數(shù)據(jù)的規(guī)模大、結(jié)構(gòu)多樣、速度快、價(jià)值密度低等概念，而目前的大數(shù)據(jù)代表了圍繞數(shù)據(jù)的整個(gè)產(chǎn)業(yè)鏈，包括數(shù)據(jù)的采集一直到數(shù)據(jù)的分析、呈現(xiàn)等內(nèi)容。
那么，大數(shù)據(jù)又是哪兒來(lái)的呢？一個(gè)來(lái)源是傳統(tǒng)的信息系統(tǒng)，包括ERP系統(tǒng)等，另一個(gè)重要的來(lái)源是物聯(lián)網(wǎng)系統(tǒng)，目前這是大數(shù)據(jù)最重要的數(shù)據(jù)來(lái)源之一，可以說(shuō)物聯(lián)網(wǎng)的發(fā)展直接導(dǎo)致了大數(shù)據(jù)的出現(xiàn)。所以，要學(xué)習(xí)大數(shù)據(jù)首先就要了解物聯(lián)網(wǎng)。
接下來(lái)，數(shù)據(jù)通過(guò)網(wǎng)絡(luò)傳送到云計(jì)算平臺(tái)，在云計(jì)算平臺(tái)的支持下，大數(shù)據(jù)完成數(shù)據(jù)的存儲(chǔ)、安全和分析的一系列操作，可以說(shuō)云計(jì)算平臺(tái)給大數(shù)據(jù)提供了支撐環(huán)境。所以，要學(xué)習(xí)大數(shù)據(jù)也要了解云計(jì)算。
現(xiàn)在的大數(shù)據(jù)不僅僅能夠做數(shù)據(jù)分析，更是為人工智能提供了支撐，比如在機(jī)器學(xué)習(xí)領(lǐng)域，需要大量的訓(xùn)練數(shù)據(jù)來(lái)訓(xùn)練算法，而大數(shù)據(jù)恰恰可以提供數(shù)據(jù)。可以說(shuō)現(xiàn)在的大數(shù)據(jù)為科技領(lǐng)域的發(fā)展起到了重要的助力作用。
大數(shù)據(jù)的技術(shù)組成
大數(shù)據(jù)是一個(gè)典型的多學(xué)科交叉領(lǐng)域，需要計(jì)算機(jī)專(zhuān)業(yè)、數(shù)學(xué)、統(tǒng)計(jì)等專(zhuān)業(yè)人才共同合作。大數(shù)據(jù)平臺(tái)有兩個(gè)重要基礎(chǔ)，一個(gè)是分布式存儲(chǔ)，一個(gè)是分布式計(jì)算，在這兩個(gè)基礎(chǔ)功能之上再完成各個(gè)場(chǎng)景的應(yīng)用。
比如，目前比較流行的大數(shù)據(jù)平臺(tái)有Hadoop和Spark，Hadoop平臺(tái)是基于Java語(yǔ)言開(kāi)發(fā)的，包括了HDFS和MapReduce兩個(gè)大部分，Hadoop生態(tài)健全，應(yīng)用廣泛，目前很多商業(yè)大數(shù)據(jù)系統(tǒng)都是基于Hadoop構(gòu)建的。Spark采用基于內(nèi)存運(yùn)算的模式，所以在速度上要比Hadoop快一些，另外Spark所采用的Scala語(yǔ)言更靈活一些，得到了很多Java程序員的喜愛(ài)。
當(dāng)然，搭建Hadoop、Spark平臺(tái)只是第一步，接下來(lái)要對(duì)數(shù)據(jù)進(jìn)行分析、呈現(xiàn)和應(yīng)用。大數(shù)據(jù)算法工程師要根據(jù)不同的應(yīng)用場(chǎng)景來(lái)設(shè)計(jì)不同的算法，常見(jiàn)的算法包括支持向量機(jī)、樸素貝葉斯、k近鄰、決策樹(shù)等等，這些算法往往也是機(jī)器學(xué)習(xí)的常見(jiàn)算法，所以從大數(shù)據(jù)轉(zhuǎn)向機(jī)器學(xué)習(xí)是非常方便的，我就是從大數(shù)據(jù)開(kāi)始進(jìn)入機(jī)器學(xué)習(xí)領(lǐng)域的研究。
對(duì)于統(tǒng)計(jì)專(zhuān)業(yè)人才來(lái)說(shuō)，大數(shù)據(jù)是一個(gè)重要的舞臺(tái)，大數(shù)據(jù)能為統(tǒng)計(jì)提供豐富的數(shù)據(jù)，可以使用很多工具完成數(shù)據(jù)分析任務(wù)，R語(yǔ)言就是一個(gè)好選擇。
相信通過(guò)我的介紹，大家對(duì)大數(shù)據(jù)有了一個(gè)概要的了解。
總之，大數(shù)據(jù)的學(xué)習(xí)要找到一條適合自己的切入點(diǎn)，然后逐步深入。如果是程序員，完全可以從平臺(tái)搭建開(kāi)始。