mysql 多表總和查詢，才能進行大數據分析？

爬蟲實際上是數據獲取的捷徑，如果想要學習數據分析，首先還是需要了解數據分析的過程。這里簡單說一下數據分析的過程并告訴每個部分需要掌握的知識。

1.定義問題

確定需要的問題，以及想得出的結論。需要考慮的選項有很多，要根據所在業務去判斷。常見的有：變化趨勢、用戶畫像、影響因素、歷史數據等等。

《數據之美》：這一本書里面沒有什么干貨，但有很多案例，可以通過里面的案例來了解數據分析的基本過程。不是很厚，但里面的數據分析思想非常值得學習，畢竟ideal才是最重要的。2.數據獲取

數據獲取的方式有很多種。一是可以直接從企業數據庫調取，這時候就需要SQL技能去完成數據提取等的數據庫管理工作。二是獲取公開數據，可以從政府、企業、統計局等機構去下載公開數據。三是通過Python編寫網頁爬蟲，收集互聯網的數據。

SQL 是用于訪問和處理數據庫的標準的計算機語言。需要掌握到如何使用 SQL 訪問和處理數據系統中的數據。SQL在公司的應用多，可以說是必須掌握的。這里我推薦一個SQL的教程：http://www.w3school.com.cn/sql/3.數據預處理

因為原始數據可能會有很多問題比如殘缺、重復、無效的數據，所以數據預處理主要是對異常數據進行清洗，以便更加準確的分出分析結果。而我最經常做的就是設定一些篩選規則把異常數據剔除掉，以及將缺失值用平均值或者線性函數估計進行填補。

這里比較多涉及的就是統計學的知識了，剛入門不建議把統計學翻個底朝天的學習，不然就會覺得很吃力。所以建議暫時先掌握一些基本的預處理。推薦：《深入淺出統計學》，這本書可以說是非常適合入門了，如果對統計學一點了解都沒有或者都忘得差不多了，可以從他入手。如果大學時數學就特別好，就不推薦這本書。4.數據分析與建模

這個部分學起來可能會覺得很抽象，因為模型是對現實世界特征的模擬和抽象。在這個部分需要了解基本的統計分析方法、數據挖掘算法，了解不同統計方法適用的場景和適合的問題。而數據挖掘的算法、特征提取可以用來優化自己的模型，獲得更好的結果。

這個部分涉及的知識就比較復雜，這是一個建立數據模型的過程，內容包括數據結構、數據操作、數據約束。還要學習的是數據挖掘和算法，需要很好的數學基礎。5.數據可視化和分析報告撰寫

數據可視化，學習一款可視化工具，將數據通過可視化最直觀的展現出來。也可以進一步深入探究其內部的關系，通過建模和分析，來對未來的情況有更精準的預測。

數據可視化的方法有很多，常見的有用SPSS、R語言來進行可視化，如果編程能力有限也可以選擇一款喜歡的可視化軟件。這里我推薦一個Tableau，原因當然是簡單易用還附帶免費教程。