mapreduce的工作原理簡答題?
1.有一個待處理的大數據,被劃分成大小相同的數據庫(如64MB),以及與此相應的用戶作業程序。
2.系統中有一個負責調度的主節點(Master),以及數據Map和Reduce工作節點(Worker).
3.用戶作業提交個主節點。
4.主節點為作業程序尋找和配備可用的Map節點,并將程序傳送給map節點。
5.主節點也為作業程序尋找和配備可用的Reduce節點,并將程序傳送給Reduce節點。
6.主節點啟動每一個Map節點執行程序,每個Map節點盡可能讀取本地或本機架的數據進行計算。(實現代碼向數據靠攏,減少集群中數據的通信量)。
7.每個Map節點處理讀取的數據塊,并做一些數據整理工作(combining,sorting等)并將數據存儲在本地機器上;同時通知主節點計算任務完成并告知主節點中間結果數據的存儲位置。
8.主節點等所有Map節點計算完成后,開始啟動Reduce節點運行;Reduce節點從主節點所掌握的中間結果數據位置信息,遠程讀取這些數據。
9.Reduce節點計算結果匯總輸出到一個結果文件,即獲得整個處理結果。
上一篇cod19無法啟動
下一篇office年費多少