本人從事大數據以及相關行業，從目前大數據實際運用的角度來說一下這個問題。以下是我整理的近年來大數據相關好崗位以及崗位職責，技能需求需求，供參考

一，大數據開發

從事大數據開發工程師

崗位職責

1、利用Hadoop、Spark等技術在分布式系統上對海量歷史數據進行預處理，挖掘用戶信

息；

2、參與大數據基礎平臺的搭建和維護；

3、負責廣告投放項目管理平臺研發；

4、負責大數據計算處理平臺項目研發。

技術要求

1、熟練掌握c++/Java開發，具備扎實的程序設計基本功和學習能力

2、熟悉 Linux，熟悉 shell/perl/python/php 等腳本語言的一種或多種。

3、熟悉傳統數據庫MySQL。

4、熟悉MapReduce、Storm、Spark、Spark Streaming等大數據開發工具，對源代碼

有一定研究者優先；

5、熟悉linux環境，熟悉shell等腳本編程；

6、有大規模數據處理和日志處理經驗的優先。

7、有較強的人際溝通、協調能力，具備與技術人員溝通數據需求的能力；

8、具備良好的邏輯分析能力和解決實際問題的能力。

二，大數據運維

從事大數據運維工程師

崗位職責

1、負責大數據平臺整體軟硬件的日常運維；

2、分析平臺運行狀態，進行性能優化；

3、負責大數據平臺運行故障的分析、定位和解決；

4、負責新技術、新組件的技術探索、測試和應用；

5、支撐運維自動化系統的設計和開發。

崗位要求：

1、 熟悉hadoop生態圈主要開源技術組件及其工作原理，能閱讀相關源代碼，能順利閱讀英文文檔；

2、熟悉軟硬件設備、網絡原理，有豐富的大數據平臺部署、性能優化和運維經驗；

3、熟悉Linux，熟悉cacti、ganglia、zabbix等運維軟件，熟悉SaltStack、Ansible等自動化軟件，有python、java、shell編程基礎；

4、工作認真負責，有較強的學習能力、動手能力和分析解決問題的能力；

補充：

熟悉

Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch/Flume等開源項目，有運維優化經驗者優先；

熟悉Linux操作系統的配置、管理及優化；

熟悉Python、Linux、shell,有ETL維護經驗、電信行業大數據維護經驗者優先

三，數據挖掘

從事數據挖掘工程師

崗位職責

1、對海量數據進行分析，建立數據挖掘算法，利用大數據對產品進行研究和建模，為用戶提供評估和預測等功能；

2、參與/負責用戶畫像、推薦等系統搭建，參與核心產品推薦場景算法的研發和優化；

3、采用先進的數據挖掘和機器學習算法，為公司業務部門提供決策依據；

4、搭建數據挖掘系統和機器學習系統，實現智能平臺的自動化流程。

1、具備強悍的編碼能力，有扎實的數據結構和算法功底；

2、優秀的學習能力、獨立分析問題和解決問題能力；

3、熟悉Linux開發環境，熟悉Python，PHP，Java等語言兩種以上；

4、熟悉基本的數據分析方法、數據挖掘、機器學習算法；

5、熟悉SPSS/Modeler/R/Python等至少一種數據挖掘工具；

6、熟悉Hadoop/Spark，有Elasticsearch，Solr，Kafka，Flume等開源項目使用經驗

7、有畫像、廣告、推薦，搜索等算法方向實際工作經驗優先

四，BI（商務智能）工程師— （包括數據庫開發、BI開發工程師、ETL開發、報表開發、BI咨詢顧問）

崗位職責

1、獨立負責業務數據收集整理，構建經營分析和報表系統；

2、通過專題分析，對業務問題進行深入分析，為業務的策略、產品優化提供數據支持；

3、 以數據驅動業務為目標，進行數倉研發工作但不局限于數倉；

4、 參與數據倉庫ETL設計、開發和優化工作，保證數據準確、穩定、組織合理

崗位要求

1、掌握Oracle、MySQL、ODPS等數據庫開發技能，熟練應用開發、數據庫原理和常用性能優化和擴展技術；

2、掌握數據倉庫建設、熟悉大數據平臺操作，離線計算Hive/MR研發、實時計算spark streaming/storm；

3、熟悉ETL邏輯、OLAP設計和數據分析技術（聚類分析、回歸分析、決策樹等）、數據挖掘相關算法；

4、熟悉Linux系統環境開發，掌握shell、perl、python等至少一種開發語言。

6. 有較強的邏輯/概率思維能力，善于分析、歸納、描述、溝通、和解決問題。

補充（根據企業工具區別）

1、全面熟知數據倉庫設計理念、設計方法，熟練掌握Informatica、Kettle、Automation等至少一種ETL工具；

2、熟練掌握SAP BO、MSTR、SmartBI、Cognos、QV等至少一種BI工具；

3、熟悉數據倉庫，掌握BI相關工具，如ETL工具（SSIS, SAP DataService）、OLAP工具（SSAS）和前端展示工具(BO CR/Webi)

五，數據可視化

從事可視化工程師

崗位職責

1、負責大數據平臺業務邏輯和數據可視化功能，數據可視化組件研發；

2、搭建基礎的可視化分析平臺，設計數據分析應用的架構，實現實時數據調用與展示；

3、數據相關性分析與根因分析；

4、支持客戶需求分析和數據分析。

崗位要求

1、熟練Web前端技術（SVG/HTML5/JavaScriptdeJS等）；

2、熟練D3、Echarts、Three.js、WebGL等開源數據可視化庫和技術；

3、有Web服務器端編程語言（如Node/Java）開發經驗優先；

4、有blender(以及blender game engine)或者unity 3d或unreal engine等開發經驗優先

一些BI崗位的詳細介紹

BI工程師（開發、咨詢、實施）

BI開發工程師

崗位職責

1、執行在框架設計的基礎上完成具體組件的概要設計、詳細設計編寫；

2、完成BI系統具體組件的代碼編寫、單元測試；

3、參與BI系統報表平臺技術架構設計，數據庫結構設計；

4、參與BI系統數據倉庫的構架、建模和實現。

5、負責向需求方提供數據及業務分析服務，負責整體風控模型的優化，理解并掌握BI報表需求；

崗位要求

1、有數據倉庫或統計分析類項目開發經驗或較深的理論知識；

2、熟悉Cognos、Webfocus、ireport等數據分析報表開發工具和技術；

3、熟悉Linux/Unix服務器，并了解一些基本的操作命令；

4、至少熟悉Informix/Oracle/SQL Server等數據庫中的一種,并在此基礎上有過ETL程序或存儲過程的開發。

5、能夠熟練應用JSP/Servlet/JavaScript等WEB開發技術，熟悉Spring，Struts2和iBATIS等主流的開發框架，熟悉BIRT、JasperReports等開源報表工具；

6、熟悉Linux Shell、Perl等腳本語言，熟悉ORACLE數據庫，PL/SQL編程；

7、熟悉BI系統技術框架，熟悉數據采集流程，對數據倉庫有比較深入的了解；

8、熟悉行業經營分析系統（BI）架構及實現者優先。

BI咨詢顧問

崗位職責

1、分析客戶的數據要求；

2、負責Qlikview/Tableau BI項目的實施和報表開發；

3、負責校驗數據，保障數據的準確；

4、 負責客戶需求收集、分析，梳理業務流程解決方案，項目的拓展支撐；

5、撰寫需求規格書及各類相關文檔；

6、良好的團隊合作、協調、問題處理能力；

崗位要求

1、對BI有系統的認知；

2、熟練使用Qlikview，Tableau等前端工具；

3、熟悉MS SQL Server，熟練運用SQL語言；

4、前端報表偏業務方向需熟悉主流報表工具或新興前端報表工具Qlikview、Tableau等優先考慮；

6、后臺數據處理需熟悉掌握至少一種后臺ETL開發工具，例：Informatica powercenter、Datastage、OWB、微軟DTS、Kettle等；

7、后臺數據建模需熟練掌握至少一種數據挖掘算法和建模方法，了解建模；

8、良好的英文能力，能快速閱讀和撰寫英文技術文檔者優先。

BI實施工程師

崗位職責

1、負責BI項目的需求調研與分析工作；

2、負責BI項目的方案設計、實施或項目管理工作；

3、參與公司BI產品和項目的實施開發工作。

崗位要求

1、良好的數據庫基礎，精通SQL，深入掌握Oracle或其他數據庫，能夠進行數據庫調優；

3、熟悉ORACLE、MYSQL、SQLSERVER等主流數據庫的安裝及配置、熟悉SQL語句編寫及ETL、BI實施工作；

3、熟悉LINUX操作系統安裝及常用命令；

4、熟悉BI基礎理論知識，使用過BI相關產品；

5、參與BI相關項目的實施工作；

6、熟悉TOMCAT、JDK等安裝及參數配置；

7、具備較強的語言表達能力，能與客戶順暢溝通或產品介紹；

8、具備較強的學習與動手能力，能夠適應全國范圍內出差；

9、熟悉hadoop大數據及自動化運維工具經驗者的待遇從優。

ETL工程師

崗位要求：

具備一般的JAVA應用開發能力；

熟悉Oracle下的分區，表空間， SQL性能調優等操作；

熟悉常用的ETL工具，如：kettle， informatica等；

熟悉常用的報表工具，如：Cognos等。

崗位職責：

負責行業生產交易系統數據倉庫開發，存儲過程編寫，數據模型研究，大數據研究

六，數據分析工程師

崗位職責:

1、進行業務和企業經營行為分析，梳理業務規律和業務需求；

2、將業務需求轉化為數據需求，發現數據應用場景，梳理指標體系；

3、使用合適的數據分析工具進行數據分析和模型設計；

4、提出基于數據的結果和分析建議，根據分析結果進行行業研究、評估和預測；

5、編寫數據分析報告；

6、完成領導交辦的其他工作。

崗位要求

1、本科以上學歷，計算機、數學、統計學等相關專業；

2、深刻理解大數據分析原理及相關應用；

3、熟練掌握主流數據庫技術；

4、精通數據分析、挖掘工具與方法，如SAS、R、Python、EXCEL等；

5、敏銳的數據觀察和分析能力，及時發現和分析其中隱含的變化和問題并給出建議；

6、良好的溝通能力和團隊精神，較強的學習能力，能承擔一定的工作壓力；

互聯網是一個快速發展的行業，如果你剛上大學，可能四年出來就會有變化！所以還是注意相關咨詢！希望能夠幫到你，歡迎關注，討論