多源異構數據融合方法?
多源異構數據融合系統,用于航空業的多源異構數據融合,包括:
數據源層,所述數據源層用于獲取各異構數據源的集合,其獲取的數據源包括結構化數據、非結構化數據及實時流數據;計算層,所述計算層用于對所述數據源的收集、清洗、存儲及計算,其包括內存計算框架、流計算框架、數據倉庫、數據挖掘引擎、分布式計算框架及文件系統;所述內存計算框架用于實現基于內存的數據計算,所述流計算框架用于對于航空PNR數據的實時接收以及計算,所述數據倉庫用于存儲結構化后的網站瀏覽相關數據,所述數據挖掘引擎用于用戶的模型建立和計算,用于對于整個大數據平臺的資源管理,所述文件系統用于整個平臺底層的數據文件存儲;數據層,所述數據層用于實現存儲數據訪問,其包括SQL系統、NoSQL系統及緩存系統;所述SQL系統用于實現關系型數據庫的存儲和搜索,所述NoSQL系統用于非關系型數據庫的存儲和搜索,所述緩存系統用于基于緩存的數據存儲和計算;分析層,所述分析層用于實現對用戶關聯后的數據分析及畫像刻畫,其包括語義層及OLAP引擎;所述語義層用于實現基于分析后和業務場景進行報表的開發和展示,所述OLAP引擎用于實現對于數據分析的聯機分析處理。