云計(jì)算與大數(shù)據(jù)概述

云計(jì)算(cloudcomputing)是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過(guò)互聯(lián)網(wǎng)來(lái)提供動(dòng)態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。云是網(wǎng)絡(luò)、互聯(lián)網(wǎng)的一種比喻說(shuō)法。過(guò)去在圖中往往用云來(lái)表示電信網(wǎng)，后來(lái)也用來(lái)表示互聯(lián)網(wǎng)和底層基礎(chǔ)設(shè)施的抽象。狹義云計(jì)算指IT基礎(chǔ)設(shè)施的交付和使用模式，指通過(guò)網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需資源;廣義云計(jì)算指服務(wù)的交付和使用模式，指通過(guò)網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需服務(wù)。這種服務(wù)可以是IT和軟件、互聯(lián)網(wǎng)相關(guān)，也可是其他服務(wù)。它意味著計(jì)算能力也可作為一種商品通過(guò)互聯(lián)網(wǎng)進(jìn)行流通。

大數(shù)據(jù)(bigdata)，或稱海量數(shù)據(jù)，指的是所涉及的資料量規(guī)模巨大到無(wú)法透過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。大數(shù)據(jù)的4V特點(diǎn)：Volume、Velocity、Variety、Veracity。

從技術(shù)上看,大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無(wú)法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理,必須采用分布式計(jì)算架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)的挖掘,但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)、云存儲(chǔ)和虛擬化技術(shù)。

大數(shù)據(jù)管理，分布式進(jìn)行文件系統(tǒng)，如Hadoop、Mapreduce數(shù)據(jù)分割與訪問(wèn)執(zhí)行;同時(shí)SQL支持，以Hive+HADOOP為代表的SQL界面支持，在大數(shù)據(jù)技術(shù)上用云計(jì)算構(gòu)建下一代數(shù)據(jù)倉(cāng)庫(kù)成為熱門話題。從系統(tǒng)需求來(lái)看，大數(shù)據(jù)的架構(gòu)對(duì)系統(tǒng)提出了新的挑戰(zhàn)：

1、集成度更高。一個(gè)標(biāo)準(zhǔn)機(jī)箱最大限度完成特定任務(wù)。

2、配置更合理、速度更快。存儲(chǔ)、控制器、I/O通道、內(nèi)存、CPU、網(wǎng)絡(luò)均衡設(shè)計(jì)，針對(duì)數(shù)據(jù)倉(cāng)庫(kù)訪問(wèn)最優(yōu)設(shè)計(jì)，比傳統(tǒng)類似平臺(tái)高出一個(gè)數(shù)量級(jí)以上。

3、整體能耗更低。同等計(jì)算任務(wù)，能耗最低。

4、系統(tǒng)更加穩(wěn)定可靠。能夠消除各種單點(diǎn)故障環(huán)節(jié)，統(tǒng)一一個(gè)部件、器件的品質(zhì)和標(biāo)準(zhǔn)。

5、管理維護(hù)費(fèi)用低。數(shù)據(jù)藏的常規(guī)管理全部集成。

6、可規(guī)劃和預(yù)見(jiàn)的系統(tǒng)擴(kuò)容、升級(jí)路線圖。

云計(jì)算與大數(shù)據(jù)的關(guān)系

簡(jiǎn)單來(lái)說(shuō)：云計(jì)算是硬件資源的虛擬化，而大數(shù)據(jù)是海量數(shù)據(jù)的高效處理。雖然從這個(gè)解釋來(lái)看也不是完全貼切，但是卻可以幫助對(duì)這兩個(gè)名字不太明白的人很快理解其區(qū)別。當(dāng)然，如果解釋更形象一點(diǎn)的話，云計(jì)算相當(dāng)于我們的計(jì)算機(jī)和操作系統(tǒng)，將大量的硬件資源虛擬化后在進(jìn)行分配使用。

可以說(shuō)，大數(shù)據(jù)相當(dāng)于海量數(shù)據(jù)的“數(shù)據(jù)庫(kù)”，通觀大數(shù)據(jù)領(lǐng)域的發(fā)展我們也可以看出，當(dāng)前的大數(shù)據(jù)發(fā)展一直在向著近似于傳統(tǒng)數(shù)據(jù)庫(kù)體驗(yàn)的方向發(fā)展，一句話就是，傳統(tǒng)數(shù)據(jù)庫(kù)給大數(shù)據(jù)的發(fā)展提供了足夠大的空間。

大數(shù)據(jù)的總體架構(gòu)包括三層：數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)處理和數(shù)據(jù)分析。數(shù)據(jù)先要通過(guò)存儲(chǔ)層存儲(chǔ)下來(lái)，然后根據(jù)數(shù)據(jù)需求和目標(biāo)來(lái)建立相應(yīng)的數(shù)據(jù)模型和數(shù)據(jù)分析指標(biāo)體系對(duì)數(shù)據(jù)進(jìn)行分析產(chǎn)生價(jià)值。

而中間的時(shí)效性又通過(guò)中間數(shù)據(jù)處理層提供的強(qiáng)大的并行計(jì)算和分布式計(jì)算能力來(lái)完成。三者相互配合，這讓大數(shù)據(jù)產(chǎn)生最終價(jià)值。

不看現(xiàn)在云計(jì)算發(fā)展情況，未來(lái)的趨勢(shì)是：云計(jì)算作為計(jì)算資源的底層，支撐著上層的大數(shù)據(jù)處理，而大數(shù)據(jù)的發(fā)展趨勢(shì)是，實(shí)時(shí)交互式的查詢效率和分析能力，借用Google一篇技術(shù)論文中的話：“動(dòng)一下鼠標(biāo)就可以在妙極操作PB級(jí)別的數(shù)據(jù)”，確實(shí)讓人興奮不能止。