如何讓學(xué)生學(xué)習(xí)大數(shù)據(jù)技術(shù)?
謝謝邀請(qǐng)回答!!!
俗話(huà)說(shuō):興趣是第一老師。我認(rèn)為,當(dāng)你選擇學(xué)習(xí)一門(mén)課程和技能時(shí),你的個(gè)人興趣是至關(guān)重要,對(duì)于學(xué)習(xí)像大數(shù)據(jù)這樣抽象的技能更是如此。那么,如何學(xué)好大數(shù)據(jù)呢?我建議主要有以下3個(gè)方面:
1.學(xué)習(xí)Java語(yǔ)言和Linux操作系統(tǒng),這兩個(gè)是學(xué)習(xí)大數(shù)據(jù)的基礎(chǔ)。主要深入學(xué)習(xí)Java的標(biāo)準(zhǔn)版JavaSE就可以,像Servlet、JSP、Tomcat、Struts等課程了解就可以,當(dāng)然學(xué)習(xí)Hibernate或Mybites的原理也有必要,增加你對(duì)Java操作數(shù)據(jù)庫(kù)的理解,同時(shí)要學(xué)好Linux,對(duì)你快速掌握大數(shù)據(jù)相關(guān)技術(shù)有很大的裨益,能讓你更好的理解hadoop、hive、hbase等大數(shù)據(jù)軟件的運(yùn)行環(huán)境和網(wǎng)絡(luò)環(huán)境配置。
2.當(dāng)我們掌握了大數(shù)據(jù)的基礎(chǔ)后,還需學(xué)習(xí)哪些大數(shù)據(jù)技術(shù)?當(dāng)然最關(guān)鍵的是學(xué)習(xí)Hadoop技術(shù),它包括:HDFS、MapReduce和YARN,HDFS是存儲(chǔ)數(shù)據(jù)的地方,MapReduce是對(duì)數(shù)據(jù)進(jìn)行處理計(jì)算,YARN是體現(xiàn)Hadoop平臺(tái)概念的重要組件,有了它大數(shù)據(jù)生態(tài)體系的其它軟件就能在hadoop上運(yùn)行了。
3.學(xué)了以上大數(shù)據(jù)的技能后,可以作為你學(xué)大數(shù)據(jù)的一個(gè)節(jié)點(diǎn)。可以主要考慮進(jìn)一步學(xué)習(xí)以下幾個(gè)技能:
(1)學(xué)習(xí)Zookeeper:這是個(gè)萬(wàn)金油,安裝Hadoop的HA的時(shí),就會(huì)用到它,以后要學(xué)的Hbase也會(huì)用到它。它一般用來(lái)存放一些相互協(xié)作的信息。
(2)學(xué)習(xí)Mysql:我們學(xué)習(xí)完大數(shù)據(jù)的處理知識(shí)后,接下來(lái)要學(xué)習(xí)小數(shù)據(jù)的處理工具mysql數(shù)據(jù)庫(kù),你能在Linux上把它安裝好,運(yùn)行起來(lái),配置簡(jiǎn)單的權(quán)限,修改root密碼,創(chuàng)建數(shù)據(jù)庫(kù)。
(3)學(xué)習(xí)Sqoop:這個(gè)是用于把Mysql里的數(shù)據(jù)導(dǎo)入到Hadoop里,也可以直接把Mysql數(shù)據(jù)表導(dǎo)出成文件再放到HDFS上。
(4)學(xué)習(xí)Hive:對(duì)于會(huì)SQL語(yǔ)法的來(lái)說(shuō),它就是神器,它能讓你處理大數(shù)據(jù)變的很簡(jiǎn)單,不會(huì)再費(fèi)勁的編寫(xiě)MapReduce程序。
(5)學(xué)習(xí)Oozie:它可以幫你管理你的Hive或者M(jìn)apReduce、Spark腳本,還能檢查你的程序是否執(zhí)行正確,如出錯(cuò)會(huì)給你發(fā)報(bào)警,并能幫你重試程序,最重要的是,還能幫你配置任務(wù)的依賴(lài)關(guān)系。
(6)學(xué)習(xí)Hbase:這是Hadoop生態(tài)體系中的NOSQL數(shù)據(jù)庫(kù),他的數(shù)據(jù)是按照key和value的形式存儲(chǔ)的,它能用來(lái)做數(shù)據(jù)的排重,它與MYSQL相比能存儲(chǔ)的數(shù)據(jù)量大很多。
(7)學(xué)習(xí)Kafka:數(shù)據(jù)多了同樣也需要排隊(duì)處理,利用這個(gè)工具來(lái)做線(xiàn)上實(shí)時(shí)數(shù)據(jù)的入庫(kù)或入HDFS,可以與Flume的工具配合使用。
(8)學(xué)習(xí)Spark:它是用來(lái)彌補(bǔ)基于MapReduce處理數(shù)據(jù)速度上的缺點(diǎn),其特點(diǎn)主要有:把數(shù)據(jù)裝載到內(nèi)存中計(jì)算,而不是去讀慢的要死進(jìn)化還特別慢的硬盤(pán),特別適合做迭代運(yùn)算。
總而言之,要學(xué)好大數(shù)據(jù)這門(mén)課程,不但要有刻苦認(rèn)真、持之以恒的學(xué)習(xí)精神,而且還要向該行業(yè)的高手們討教學(xué)習(xí)經(jīng)驗(yàn),采取理論知識(shí)與實(shí)操相結(jié)合的學(xué)習(xí)方法等,我相信你的付出必有所收獲!!???