hadoop的發(fā)展及原理?
Hadoop的發(fā)展歷史
2004年— 最初的版本(現(xiàn)在稱為HDFS和MapReduce)由Doug Cutting和Mike Cafarella開始實(shí)施。
2005年12月— Nutch移植到新的框架,Hadoop在20個(gè)節(jié)點(diǎn)上穩(wěn)定運(yùn)行。
2006年1月— Doug Cutting加入雅虎。
2006年2月— Apache Hadoop項(xiàng)目正式啟動(dòng)以支持MapReduce和HDFS的獨(dú)立發(fā)展。
2006年2月— 雅虎的網(wǎng)格計(jì)算團(tuán)隊(duì)采用Hadoop。
2006年4月— 標(biāo)準(zhǔn)排序(10 GB每個(gè)節(jié)點(diǎn))在188個(gè)節(jié)點(diǎn)上運(yùn)行47.9個(gè)小時(shí)。
…………
Hadoop的工作原理是:
Hadoop 由許多元素構(gòu)成。其最底部是 Hadoop Distributed File System(HDFS),它存儲(chǔ) Hadoop 集群中所有存儲(chǔ)節(jié)點(diǎn)上的文件。HDFS(對(duì)于本文)的上一層是MapReduce 引擎,該引擎由 JobTrackers 和 TaskTrackers 組成。………