本人從事大數(shù)據(jù)以及相關(guān)行業(yè)，從目前大數(shù)據(jù)實際運用的角度來說一下這個問題。以下是我整理的近年來大數(shù)據(jù)相關(guān)好崗位以及崗位職責(zé)，技能需求需求，供參考

一，大數(shù)據(jù)開發(fā)

從事大數(shù)據(jù)開發(fā)工程師

崗位職責(zé)

1、利用Hadoop、Spark等技術(shù)在分布式系統(tǒng)上對海量歷史數(shù)據(jù)進行預(yù)處理，挖掘用戶信

息；

2、參與大數(shù)據(jù)基礎(chǔ)平臺的搭建和維護；

3、負(fù)責(zé)廣告投放項目管理平臺研發(fā)；

4、負(fù)責(zé)大數(shù)據(jù)計算處理平臺項目研發(fā)。

技術(shù)要求

1、熟練掌握c++/Java開發(fā)，具備扎實的程序設(shè)計基本功和學(xué)習(xí)能力

2、熟悉 Linux，熟悉 shell/perl/python/php 等腳本語言的一種或多種。

3、熟悉傳統(tǒng)數(shù)據(jù)庫MySQL。

4、熟悉MapReduce、Storm、Spark、Spark Streaming等大數(shù)據(jù)開發(fā)工具，對源代碼

有一定研究者優(yōu)先；

5、熟悉linux環(huán)境，熟悉shell等腳本編程；

6、有大規(guī)模數(shù)據(jù)處理和日志處理經(jīng)驗的優(yōu)先。

7、有較強的人際溝通、協(xié)調(diào)能力，具備與技術(shù)人員溝通數(shù)據(jù)需求的能力；

8、具備良好的邏輯分析能力和解決實際問題的能力。

二，大數(shù)據(jù)運維

從事大數(shù)據(jù)運維工程師

崗位職責(zé)

1、負(fù)責(zé)大數(shù)據(jù)平臺整體軟硬件的日常運維；

2、分析平臺運行狀態(tài)，進行性能優(yōu)化；

3、負(fù)責(zé)大數(shù)據(jù)平臺運行故障的分析、定位和解決；

4、負(fù)責(zé)新技術(shù)、新組件的技術(shù)探索、測試和應(yīng)用；

5、支撐運維自動化系統(tǒng)的設(shè)計和開發(fā)。

崗位要求：

1、 熟悉hadoop生態(tài)圈主要開源技術(shù)組件及其工作原理，能閱讀相關(guān)源代碼，能順利閱讀英文文檔；

2、熟悉軟硬件設(shè)備、網(wǎng)絡(luò)原理，有豐富的大數(shù)據(jù)平臺部署、性能優(yōu)化和運維經(jīng)驗；

3、熟悉Linux，熟悉cacti、ganglia、zabbix等運維軟件，熟悉SaltStack、Ansible等自動化軟件，有python、java、shell編程基礎(chǔ)；

4、工作認(rèn)真負(fù)責(zé)，有較強的學(xué)習(xí)能力、動手能力和分析解決問題的能力；

補充：

熟悉

Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch/Flume等開源項目，有運維優(yōu)化經(jīng)驗者優(yōu)先；

熟悉Linux操作系統(tǒng)的配置、管理及優(yōu)化；

熟悉Python、Linux、shell,有ETL維護經(jīng)驗、電信行業(yè)大數(shù)據(jù)維護經(jīng)驗者優(yōu)先

三，數(shù)據(jù)挖掘

從事數(shù)據(jù)挖掘工程師

崗位職責(zé)

1、對海量數(shù)據(jù)進行分析，建立數(shù)據(jù)挖掘算法，利用大數(shù)據(jù)對產(chǎn)品進行研究和建模，為用戶提供評估和預(yù)測等功能；

2、參與/負(fù)責(zé)用戶畫像、推薦等系統(tǒng)搭建，參與核心產(chǎn)品推薦場景算法的研發(fā)和優(yōu)化；

3、采用先進的數(shù)據(jù)挖掘和機器學(xué)習(xí)算法，為公司業(yè)務(wù)部門提供決策依據(jù)；

4、搭建數(shù)據(jù)挖掘系統(tǒng)和機器學(xué)習(xí)系統(tǒng)，實現(xiàn)智能平臺的自動化流程。

1、具備強悍的編碼能力，有扎實的數(shù)據(jù)結(jié)構(gòu)和算法功底；

2、優(yōu)秀的學(xué)習(xí)能力、獨立分析問題和解決問題能力；

3、熟悉Linux開發(fā)環(huán)境，熟悉Python，PHP，Java等語言兩種以上；

4、熟悉基本的數(shù)據(jù)分析方法、數(shù)據(jù)挖掘、機器學(xué)習(xí)算法；

5、熟悉SPSS/Modeler/R/Python等至少一種數(shù)據(jù)挖掘工具；

6、熟悉Hadoop/Spark，有Elasticsearch，Solr，Kafka，F(xiàn)lume等開源項目使用經(jīng)驗

7、有畫像、廣告、推薦，搜索等算法方向?qū)嶋H工作經(jīng)驗優(yōu)先

四，BI（商務(wù)智能）工程師— （包括數(shù)據(jù)庫開發(fā)、BI開發(fā)工程師、ETL開發(fā)、報表開發(fā)、BI咨詢顧問）

崗位職責(zé)

1、獨立負(fù)責(zé)業(yè)務(wù)數(shù)據(jù)收集整理，構(gòu)建經(jīng)營分析和報表系統(tǒng)；

2、通過專題分析，對業(yè)務(wù)問題進行深入分析，為業(yè)務(wù)的策略、產(chǎn)品優(yōu)化提供數(shù)據(jù)支持；

3、 以數(shù)據(jù)驅(qū)動業(yè)務(wù)為目標(biāo)，進行數(shù)倉研發(fā)工作但不局限于數(shù)倉；

4、 參與數(shù)據(jù)倉庫ETL設(shè)計、開發(fā)和優(yōu)化工作，保證數(shù)據(jù)準(zhǔn)確、穩(wěn)定、組織合理

崗位要求

1、掌握Oracle、MySQL、ODPS等數(shù)據(jù)庫開發(fā)技能，熟練應(yīng)用開發(fā)、數(shù)據(jù)庫原理和常用性能優(yōu)化和擴展技術(shù)；

2、掌握數(shù)據(jù)倉庫建設(shè)、熟悉大數(shù)據(jù)平臺操作，離線計算Hive/MR研發(fā)、實時計算spark streaming/storm；

3、熟悉ETL邏輯、OLAP設(shè)計和數(shù)據(jù)分析技術(shù)（聚類分析、回歸分析、決策樹等）、數(shù)據(jù)挖掘相關(guān)算法；

4、熟悉Linux系統(tǒng)環(huán)境開發(fā)，掌握shell、perl、python等至少一種開發(fā)語言。

6. 有較強的邏輯/概率思維能力，善于分析、歸納、描述、溝通、和解決問題。

補充（根據(jù)企業(yè)工具區(qū)別）

1、全面熟知數(shù)據(jù)倉庫設(shè)計理念、設(shè)計方法，熟練掌握Informatica、Kettle、Automation等至少一種ETL工具；

2、熟練掌握SAP BO、MSTR、SmartBI、Cognos、QV等至少一種BI工具；

3、熟悉數(shù)據(jù)倉庫，掌握BI相關(guān)工具，如ETL工具（SSIS, SAP DataService）、OLAP工具（SSAS）和前端展示工具(BO CR/Webi)

五，數(shù)據(jù)可視化

從事可視化工程師

崗位職責(zé)

1、負(fù)責(zé)大數(shù)據(jù)平臺業(yè)務(wù)邏輯和數(shù)據(jù)可視化功能，數(shù)據(jù)可視化組件研發(fā)；

2、搭建基礎(chǔ)的可視化分析平臺，設(shè)計數(shù)據(jù)分析應(yīng)用的架構(gòu)，實現(xiàn)實時數(shù)據(jù)調(diào)用與展示；

3、數(shù)據(jù)相關(guān)性分析與根因分析；

4、支持客戶需求分析和數(shù)據(jù)分析。

崗位要求

1、熟練Web前端技術(shù)（SVG/HTML5/JavaScriptdeJS等）；

2、熟練D3、Echarts、Three.js、WebGL等開源數(shù)據(jù)可視化庫和技術(shù)；

3、有Web服務(wù)器端編程語言（如Node/Java）開發(fā)經(jīng)驗優(yōu)先；

4、有blender(以及blender game engine)或者unity 3d或unreal engine等開發(fā)經(jīng)驗優(yōu)先

一些BI崗位的詳細(xì)介紹

BI工程師（開發(fā)、咨詢、實施）

BI開發(fā)工程師

崗位職責(zé)

1、執(zhí)行在框架設(shè)計的基礎(chǔ)上完成具體組件的概要設(shè)計、詳細(xì)設(shè)計編寫；

2、完成BI系統(tǒng)具體組件的代碼編寫、單元測試；

3、參與BI系統(tǒng)報表平臺技術(shù)架構(gòu)設(shè)計，數(shù)據(jù)庫結(jié)構(gòu)設(shè)計；

4、參與BI系統(tǒng)數(shù)據(jù)倉庫的構(gòu)架、建模和實現(xiàn)。

5、負(fù)責(zé)向需求方提供數(shù)據(jù)及業(yè)務(wù)分析服務(wù)，負(fù)責(zé)整體風(fēng)控模型的優(yōu)化，理解并掌握BI報表需求；

崗位要求

1、有數(shù)據(jù)倉庫或統(tǒng)計分析類項目開發(fā)經(jīng)驗或較深的理論知識；

2、熟悉Cognos、Webfocus、ireport等數(shù)據(jù)分析報表開發(fā)工具和技術(shù)；

3、熟悉Linux/Unix服務(wù)器，并了解一些基本的操作命令；

4、至少熟悉Informix/Oracle/SQL Server等數(shù)據(jù)庫中的一種,并在此基礎(chǔ)上有過ETL程序或存儲過程的開發(fā)。

5、能夠熟練應(yīng)用JSP/Servlet/JavaScript等WEB開發(fā)技術(shù)，熟悉Spring，Struts2和iBATIS等主流的開發(fā)框架，熟悉BIRT、JasperReports等開源報表工具；

6、熟悉Linux Shell、Perl等腳本語言，熟悉ORACLE數(shù)據(jù)庫，PL/SQL編程；

7、熟悉BI系統(tǒng)技術(shù)框架，熟悉數(shù)據(jù)采集流程，對數(shù)據(jù)倉庫有比較深入的了解；

8、熟悉行業(yè)經(jīng)營分析系統(tǒng)（BI）架構(gòu)及實現(xiàn)者優(yōu)先。

BI咨詢顧問

崗位職責(zé)

1、分析客戶的數(shù)據(jù)要求；

2、負(fù)責(zé)Qlikview/Tableau BI項目的實施和報表開發(fā)；

3、負(fù)責(zé)校驗數(shù)據(jù)，保障數(shù)據(jù)的準(zhǔn)確；

4、 負(fù)責(zé)客戶需求收集、分析，梳理業(yè)務(wù)流程解決方案，項目的拓展支撐；

5、撰寫需求規(guī)格書及各類相關(guān)文檔；

6、良好的團隊合作、協(xié)調(diào)、問題處理能力；

崗位要求

1、對BI有系統(tǒng)的認(rèn)知；

2、熟練使用Qlikview，Tableau等前端工具；

3、熟悉MS SQL Server，熟練運用SQL語言；

4、前端報表偏業(yè)務(wù)方向需熟悉主流報表工具或新興前端報表工具Qlikview、Tableau等優(yōu)先考慮；

6、后臺數(shù)據(jù)處理需熟悉掌握至少一種后臺ETL開發(fā)工具，例：Informatica powercenter、Datastage、OWB、微軟DTS、Kettle等；

7、后臺數(shù)據(jù)建模需熟練掌握至少一種數(shù)據(jù)挖掘算法和建模方法，了解建模；

8、良好的英文能力，能快速閱讀和撰寫英文技術(shù)文檔者優(yōu)先。

BI實施工程師

崗位職責(zé)

1、負(fù)責(zé)BI項目的需求調(diào)研與分析工作；

2、負(fù)責(zé)BI項目的方案設(shè)計、實施或項目管理工作；

3、參與公司BI產(chǎn)品和項目的實施開發(fā)工作。

崗位要求

1、良好的數(shù)據(jù)庫基礎(chǔ)，精通SQL，深入掌握Oracle或其他數(shù)據(jù)庫，能夠進行數(shù)據(jù)庫調(diào)優(yōu)；

3、熟悉ORACLE、MYSQL、SQLSERVER等主流數(shù)據(jù)庫的安裝及配置、熟悉SQL語句編寫及ETL、BI實施工作；

3、熟悉LINUX操作系統(tǒng)安裝及常用命令；

4、熟悉BI基礎(chǔ)理論知識，使用過BI相關(guān)產(chǎn)品；

5、參與BI相關(guān)項目的實施工作；

6、熟悉TOMCAT、JDK等安裝及參數(shù)配置；

7、具備較強的語言表達能力，能與客戶順暢溝通或產(chǎn)品介紹；

8、具備較強的學(xué)習(xí)與動手能力，能夠適應(yīng)全國范圍內(nèi)出差；

9、熟悉hadoop大數(shù)據(jù)及自動化運維工具經(jīng)驗者的待遇從優(yōu)。

ETL工程師

崗位要求：

具備一般的JAVA應(yīng)用開發(fā)能力；

熟悉Oracle下的分區(qū)，表空間， SQL性能調(diào)優(yōu)等操作；

熟悉常用的ETL工具，如：kettle， informatica等；

熟悉常用的報表工具，如：Cognos等。

崗位職責(zé)：

負(fù)責(zé)行業(yè)生產(chǎn)交易系統(tǒng)數(shù)據(jù)倉庫開發(fā)，存儲過程編寫，數(shù)據(jù)模型研究，大數(shù)據(jù)研究

六，數(shù)據(jù)分析工程師

崗位職責(zé):

1、進行業(yè)務(wù)和企業(yè)經(jīng)營行為分析，梳理業(yè)務(wù)規(guī)律和業(yè)務(wù)需求；

2、將業(yè)務(wù)需求轉(zhuǎn)化為數(shù)據(jù)需求，發(fā)現(xiàn)數(shù)據(jù)應(yīng)用場景，梳理指標(biāo)體系；

3、使用合適的數(shù)據(jù)分析工具進行數(shù)據(jù)分析和模型設(shè)計；

4、提出基于數(shù)據(jù)的結(jié)果和分析建議，根據(jù)分析結(jié)果進行行業(yè)研究、評估和預(yù)測；

5、編寫數(shù)據(jù)分析報告；

6、完成領(lǐng)導(dǎo)交辦的其他工作。

崗位要求

1、本科以上學(xué)歷，計算機、數(shù)學(xué)、統(tǒng)計學(xué)等相關(guān)專業(yè)；

2、深刻理解大數(shù)據(jù)分析原理及相關(guān)應(yīng)用；

3、熟練掌握主流數(shù)據(jù)庫技術(shù)；

4、精通數(shù)據(jù)分析、挖掘工具與方法，如SAS、R、Python、EXCEL等；

5、敏銳的數(shù)據(jù)觀察和分析能力，及時發(fā)現(xiàn)和分析其中隱含的變化和問題并給出建議；

6、良好的溝通能力和團隊精神，較強的學(xué)習(xí)能力，能承擔(dān)一定的工作壓力；

互聯(lián)網(wǎng)是一個快速發(fā)展的行業(yè)，如果你剛上大學(xué)，可能四年出來就會有變化！所以還是注意相關(guān)咨詢！希望能夠幫到你，歡迎關(guān)注，討論