數字化數據如何分層采集?
把數據倉庫分為下面三個層,即:數據運營層、數據倉庫層和數據產品層。
1.“面向主題的”,數據運營層,也叫ODS層,是最接近數據源中數據的一層,數據源中的數據,經過抽取、洗凈、傳輸,也就說傳說中的ETL之后,裝入本層。本層的數據,總體上大多是按照源頭業務系統的分類方式而分類的。
2. 數據倉庫層(DW),是數據倉庫的主體,在這里,從ODS層中獲得的數據按照主題建立各種數據模型。例如以研究人的旅游消費為主題的數據集中,便可以結合航空公司的登機出行信息,以及銀聯系統的刷卡記錄,進行結合分析,產生數據集。
3. 數據產品層(APP),這一層是提供為數據產品使用的結果數據,主要是提供給數據產品和數據分析使用的數據,一般會存放在es、mysql等系統中供線上系統使用,也可能會存在Hive或者Druid中供數據分析和數據挖掘使用。
上一篇excel自學成才
下一篇NET的主要技術是什么