大數(shù)據(jù)時代，為何分層存儲技術(shù)不可或缺？

個人認為，對數(shù)據(jù)使用分層存儲技術(shù)，是因為互聯(lián)網(wǎng)對于不同業(yè)務(wù)數(shù)據(jù)使用場景所導(dǎo)致的，針對不同數(shù)據(jù)進行分層存儲，滿足對的分層存儲，用在對的業(yè)務(wù)場景。比如對于某些需要經(jīng)常使用到的數(shù)據(jù)，列如用戶方面數(shù)據(jù)，這部分數(shù)據(jù)雖然存儲在數(shù)據(jù)庫中，但由于業(yè)務(wù)需要為用戶展示其個人具體信息，因此需要對數(shù)據(jù)庫請求比較頻繁，為了更快的將數(shù)據(jù)返回到用戶，這部分往往會被劃分為熱數(shù)據(jù)層。

相對于那些使用較少的數(shù)據(jù)，純粹是為了存儲歷史數(shù)據(jù)。這部分的數(shù)據(jù)在存儲后幾乎不會在進行使用，所以這部分數(shù)據(jù)會被劃分到冷數(shù)據(jù)層。

01

熱數(shù)據(jù)由于經(jīng)常使用，需要將其存儲到更快的存儲介質(zhì)中

熱數(shù)據(jù)的一個最大特點，就是業(yè)務(wù)系統(tǒng)或者軟件需要經(jīng)常請求這部分數(shù)據(jù)，然后展示到軟件，供用戶進行瀏覽和查看。所以這部分數(shù)據(jù)，從請求到數(shù)據(jù)返回，整體流程的時延要求非常低，比如毫秒級別，時間如果太久，就會影響到用戶的體驗。

在數(shù)據(jù)庫訪問過程中，從磁盤到內(nèi)存是一個非常耗時的地方。所以對于熱數(shù)據(jù)的訪問，一般會將熱數(shù)據(jù)存儲在SSD這種固態(tài)存儲介質(zhì)中，這樣在數(shù)據(jù)從磁盤加載到內(nèi)存時，整體過程的時間會降低，從而降低數(shù)據(jù)的訪問時延。

當然，使用固態(tài)存儲介質(zhì)的成本較高，所以需要對數(shù)據(jù)進行分層，到底哪些數(shù)據(jù)是熱數(shù)據(jù)。只將熱數(shù)據(jù)存儲在固態(tài)存儲介質(zhì)中，既能夠降低數(shù)據(jù)訪問流程的時間消耗，也能夠減少全部數(shù)據(jù)都存儲在固態(tài)硬盤所帶來的成本。

02

冷數(shù)據(jù)一般由于業(yè)務(wù)使用非常少，只為了數(shù)據(jù)備份使用，一般使用廉價的存儲介質(zhì)存儲

冷數(shù)據(jù)，顧名思義，這部分業(yè)務(wù)數(shù)據(jù)使用的場景非常少，一般只是為了將該部分數(shù)據(jù)進行存儲，防止數(shù)據(jù)丟失。比如視頻監(jiān)控數(shù)據(jù)，這部分數(shù)據(jù)往往產(chǎn)生3、4天后，其數(shù)據(jù)就已經(jīng)沒有什么價值，所以這部分數(shù)據(jù)往往會選擇存儲在較為廉價的磁盤上，僅供數(shù)存檔保留，這部分數(shù)據(jù)可能永遠都不會使用。

冷數(shù)據(jù)還有一個特點，就是這部分數(shù)據(jù)往往要比熱數(shù)據(jù)多?；ヂ?lián)網(wǎng)公司雖然每天線上業(yè)務(wù)都能夠產(chǎn)生大量的數(shù)據(jù)，但其中有很多數(shù)據(jù)是很難應(yīng)用到業(yè)務(wù)場景的，只是為了能夠?qū)?shù)據(jù)進行備份，應(yīng)對在將來的某些情況來進行使用，比如去恢復(fù)其他數(shù)據(jù)等等。這部分數(shù)據(jù)使用廉價存儲介質(zhì)進行存儲，也更好的為公司降低成本。

03

冷熱數(shù)據(jù)分層，對于不同特點的數(shù)據(jù)，運維同學(xué)也更好維護

熱數(shù)據(jù)敏感度較高，在較快的存儲介質(zhì)上進行存儲，運維同學(xué)也會根據(jù)其業(yè)務(wù)特點，重點對這部分進行穩(wěn)定性維護，所以這部分數(shù)據(jù)有問題時，其問題處理優(yōu)先級是最高的。運維同學(xué)也會將更多精力放在熱數(shù)據(jù)的維護上。

對于冷數(shù)據(jù)而言，數(shù)據(jù)就沒有那么重要的，這部分數(shù)據(jù)即使出了問題，運維同學(xué)無需那么緊張著急。運維同學(xué)可以按照自己的節(jié)奏來進行處理。熱數(shù)據(jù)穩(wěn)定重點保障，冷數(shù)據(jù)數(shù)據(jù)保證不丟，運維同學(xué)也能夠更好的安排自己的事情，優(yōu)先的事，優(yōu)先處理。

我是Lake，專注大數(shù)據(jù)技術(shù)原理、人工智能、數(shù)據(jù)庫技術(shù)、程序員經(jīng)驗分享，如果我的問答對你有幫助的話，希望你能點贊關(guān)注我，感謝。

我會持續(xù)大數(shù)據(jù)、數(shù)據(jù)庫方面的內(nèi)容，如果你有任何問題，也私信我，我會認真解答每一個問題。