大數(shù)據(jù)入門階段學些什么？

本人后端工程師入坑大數(shù)據(jù)1年多，說下我的學習過程。

1.hdfs分布式文件系統(tǒng)的使用，最好熟悉下原理。

2.大數(shù)據(jù)的查詢工具，hive/presto，這兩個語法基本相似，用來查詢數(shù)據(jù)生成報表

3.實時數(shù)據(jù)清洗工具flink，利用flink將實時的kafka.日志數(shù)據(jù)寫入hdfs。當然flink還有很多其他的功能，數(shù)據(jù)清洗，數(shù)據(jù)分析都有。

4.spark，分布式計算引擎，配合yarn的資源調(diào)度，用spark做數(shù)據(jù)清洗或者機器學習的模型訓練。

綜上，需要學習的東西有hdfs，hive/presto, flink，spark。當然java語言及l(fā)inux命令必須會。