大數(shù)據(jù)處理為何選擇spark？

Spark 特點(diǎn)

開源的集群云計(jì)算框架端到端的數(shù)據(jù)分析平臺(tái)（可視化監(jiān)控）相較于Hadoop map reduce 在功能性能上都更進(jìn)一步可以單例模式也可以集群模式Streaming 處理數(shù)據(jù)（實(shí)時(shí)數(shù)據(jù)接收處理）支持多語言：Scala/python/java/RAmazon，eBay, Yahoo 使用Spark豐富的庫：Grahp, SQL, ML, Streaming多種管理框架可選擇（Yarn， mesos）

基于內(nèi)存的計(jì)算

當(dāng)我們需要讀取數(shù)據(jù)來分析時(shí)，它已經(jīng)在運(yùn)行中，我們可以很容易地檢索它。有利于實(shí)時(shí)風(fēng)險(xiǎn)管理和欺詐檢測。緩存了大量數(shù)據(jù)，數(shù)據(jù)變得高度可訪問。系統(tǒng)的計(jì)算速度提高。改進(jìn)復(fù)雜事件處理，基于 DAG 圖的 task 和 Lazy evaluation 。

Spark 數(shù)據(jù)分析流程

我是工作多年的大數(shù)據(jù)攻城獅一枚，相關(guān)問題可以在評(píng)論區(qū)留言，或者私信我！