大數據來源類型特點?
數據分析:顧名思義,就是對規模巨大的數據進行分析,是研究大量的數據的過程中尋找模式,相關性和其他有用的信息,可以幫助企業更好地適應變化,并做出更明智的決策。大數據分析數據來源包含哪些類型?
1、機器數據
機器數據是指服務器、網絡設備等硬件或虛擬硬件運行過程中產生的狀態數據,往往有對應的協議或規范,例如SNMP、IPMI、WMI等。通過機器數據可以準確的掌握業務承載平臺的基本運行狀態,例如CPU、內存、磁盤等資源的使用情況和網絡流量情況,是運維監控領域常用的數據來源,各類開源或商業監控產品對此類數據的處理也大同小異。
做好機器數據的監控可以說是做好運維監控的一步,但僅僅有機器數據是不夠的,因為機器數據存在與業務運行狀態脫節的問題,機器運行平穩、資源充足并不能夠代表業務運行正常,這就需要我們去豐富自己的監控數據來源,各位看官請往下看。
2、日志數據
日志數據是指應用程序、中間件和機器等在運行過程中由事件觸發而產生的文本類數據,數據格式靈活多樣。
通過日志數據可以深入的了解應用等運行過程中的詳細情況,但其詳細程度和覆蓋面取決于產生日志的規則,有些應用產生的日志非常詳細,包含了每一筆事務的處理過程,有些應用產生的日志非常簡單,只會在應用報錯時產生一些錯誤信息。
3、網絡通信數據
網絡通信數據是指通過抓包獲取到的設備間網絡通信數據,例如兩臺服務器之間存在網絡通信,通過抓包分析可以詳細的了解兩臺服務器之間通信的端口、協議、數據量甚至內容。常用的方式是通過硬件設備將網絡流量進行鏡像,對鏡像數據進行分析,以避免干擾業務數據的正常流轉。
4、撥測數據
對于IT業務系統,撥測采用的探測點可以在公網,也可以在業務系統內網,不同位置的探測點起到的作用是不同的。公網探測點主要關注業務系統的網絡出口質量、運營商網絡質量和CDN質量,而內網探測點主要關注的是業務或各個業務模塊的可用性及性能狀態。
5、用戶行為數據
用戶行為數據是指通過在用戶終端進行埋點獲取到的用戶行為數據,例如在網頁中通過JS埋點獲取到的頁面訪問情況和在APP中通過SDK埋點獲取到的各交互頁面和控件的使用情況。用戶行為數據除了幫助運營同學進行用戶分析,還可以幫助運維的同學更加準確的了解業務系統的實際表現。
大數據是數據計算技術的發展,它是從簡單的數據計算到計算運算技術的擴展。隨著大數據相關技術的發展和創新,大數據已經從簡單的數據計算擴展到數據挖掘、分析和應用能力的創新。