大數據的框架主要學習和使用什么呢？

什么是大數據？

大數據（big data），IT行業術語，是指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》 中大數據指不用隨機分析法（抽樣調查）這樣捷徑，而采用所有數據進行分析處理。大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。

大數據開發學習路線：

第一階段：Hadoop生態架構技術1、語言基礎Java：多理解和實踐在Java虛擬機的內存管理、以及多線程、線程池、設計模式、并行化就可以，不需要深入掌握。Linux：系統安裝、基本命令、網絡配置、Vim編輯器、進程管理、Shell腳本、虛擬機的菜單熟悉等等。Python：基礎語法，數據結構，函數，條件判斷，循環等基礎知識。2、環境準備這里介紹在windows電腦搭建完全分布式，1主2從。VMware虛擬機、Linux系統（Centos6.5）、Hadoop安裝包，這里準備好Hadoop完全分布式集群環境。3、MapReduceMapReduce分布式離線計算框架，是Hadoop核心編程模型。4、HDFS1.0/2.0HDFS能提供高吞吐量的數據訪問，適合大規模數據集上的應用。5、Yarn（Hadoop2.0）Yarn是一個資源調度平臺，主要負責給任務分配資源。6、HiveHive是一個數據倉庫，所有的數據都是存儲在HDFS上的。使用Hive主要是寫Hql。7、SparkSpark 是專為大規模數據處理而設計的快速通用的計算引擎。8、SparkStreamingSpark Streaming是實時處理框架，數據是一批一批的處理。9、SparkHiveSpark作為Hive的計算引擎，將Hive的查詢作為Spark的任務提交到Spark集群上進行計算，可以提高Hive查詢的性能。10、StormStorm是一個實時計算框架，Storm是對實時新增的每一條數據進行處理，是一條一條的處理，可以保證數據處理的時效性。11、ZookeeperZookeeper是很多大數據框架的基礎，是集群的管理者。12、HbaseHbase是一個Nosql數據庫，是高可靠、面向列的、可伸縮的、分布式的數據庫。13、Kafkakafka是一個消息中間件，作為一個中間緩沖層。14、FlumeFlume常見的就是采集應用產生的日志文件中的數據，一般有兩個流程。一個是Flume采集數據存儲到Kafka中，方便Storm或者SparkStreaming進行實時處理。另一個流程是Flume采集的數據存儲到HDFS上，為了后期使用hadoop或者spark進行離線處理。

第二階段：數據挖掘算法1、中文分詞開源分詞庫的離線和在線應用2、自然語言處理文本相關性算法3、推薦算法基于CB、CF，歸一法，Mahout應用。4、分類算法NB、SVM5、回歸算法LR、DecisionTree6、聚類算法層次聚類、Kmeans7、神經網絡與深度學習NN、Tensorflow

以上就是學習Hadoop開發的一個詳細路線，如果需要了解具體框架的開發技術，可咨詢加米谷大數據老師，詳細了解。

學習大數據開發需要掌握哪些技術呢？

（1）Java語言基礎Java開發介紹、熟悉Eclipse開發工具、Java語言基礎、Java流程控制、Java字符串、Java數組與類和對象、數字處理類與核心技術、I/O與反射、多線程、Swing程序與集合類

（2）HTML、CSS與JavaPC端網站布局、HTML5+CSS3基礎、WebApp頁面布局、原生Java交互功能開發、Ajax異步交互、jQuery應用

（3）JavaWeb和數據庫數據庫、JavaWeb開發核心、JavaWeb開發內幕

Linux&Hadoop生態體系

Linux體系、Hadoop離線計算大綱、分布式數據庫Hbase、數據倉庫Hive、數據遷移工具Sqoop、Flume分布式日志框架分布式計算框架和Spark&Strom生態體系

（1）分布式計算框架Python編程語言、Scala編程語言、Spark大數據處理、Spark—Streaming大數據處理、Spark—Mlib機器學習、Spark—GraphX 圖計算、實戰一：基于Spark的推薦系統（某一線公司真實項目）、實戰二：新浪網（www.sina.com.cn）

（2）storm技術架構體系Storm原理與基礎、消息隊列kafka、Redis工具、zookeeper詳解、大數據項目實戰數據獲取、數據處理、數據分析、數據展現、數據應用大數據分析—AI（人工智能）DataAnalyze工作環境準備&數據分析基礎、數據可視化、Python機器學習