大數(shù)據(jù)（big data），指無法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)特征分析

大數(shù)據(jù)，不僅有“大”這個(gè)特點(diǎn)，除此之外，它還有很多其他特色。在這方面，業(yè)界各個(gè)廠商都有自己獨(dú)特的見解，但是總體而言，可以用“4V+1C”來概括，“4V+1C分別代表了Variety（多樣化）、Volume（海量）、Velocity（快速）、Vitality（靈活）以及Complexity（復(fù)雜）這五個(gè)單詞。

1、Variety（多樣化）

大數(shù)據(jù)一般包括以事務(wù)為代表的結(jié)構(gòu)化數(shù)據(jù)、以網(wǎng)頁(yè)為代表的半結(jié)構(gòu)化數(shù)據(jù)和以視頻和語音信息為代表的非結(jié)構(gòu)化等多類數(shù)據(jù)，并且它們的處理和分析方式區(qū)別很大。

與大數(shù)據(jù)現(xiàn)象有關(guān)的數(shù)據(jù)量為嘗試處理它的數(shù)據(jù)中心帶來了新的挑戰(zhàn)：它多樣的種類。隨著傳感器、智能設(shè)備以及社交協(xié)作技術(shù)的激增，企業(yè)中的數(shù)據(jù)也變得更加復(fù)雜，因?yàn)樗粌H包含傳統(tǒng)的關(guān)系型數(shù)據(jù)，還包含來自網(wǎng)頁(yè)、互聯(lián)網(wǎng)日志文件（包括單擊流數(shù)據(jù)）、搜索索引、社交媒體論壇、電子郵件、文檔、主動(dòng)和被動(dòng)系統(tǒng)的傳感器數(shù)據(jù)等原始、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。簡(jiǎn)言之，種類表示所有的數(shù)據(jù)類型。

2、Volume（海量）

如今存儲(chǔ)的數(shù)據(jù)數(shù)量正在急劇增長(zhǎng)，毫無疑問我們正深陷在數(shù)據(jù)之中。我們存儲(chǔ)所有事物：環(huán)境數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)、醫(yī)療數(shù)據(jù)、監(jiān)控?cái)?shù)據(jù)等。有關(guān)數(shù)據(jù)量的對(duì)話已從TB級(jí)別轉(zhuǎn)向PB級(jí)別，并且不可避免地會(huì)轉(zhuǎn)向ZB級(jí)?，F(xiàn)在經(jīng)常聽到一些企業(yè)使用存儲(chǔ)集群來保存數(shù)PB的數(shù)據(jù)。隨著可供企業(yè)使用的數(shù)據(jù)量不斷增長(zhǎng)，可處理、理解和分析的數(shù)據(jù)比例卻不斷下降。

通過各種智能設(shè)備產(chǎn)生了大量的數(shù)據(jù)，PB級(jí)別可謂是常態(tài)，一些客戶每天處理的數(shù)據(jù)量都在幾十GB、幾百GB左右，估計(jì)國(guó)內(nèi)大型互聯(lián)網(wǎng)企業(yè)每天的數(shù)據(jù)量已經(jīng)接近TB級(jí)別。

3、Velocity（快速）

大數(shù)據(jù)要求快速處理，因?yàn)橛行?shù)據(jù)存在時(shí)效性。比如電商的數(shù)據(jù)，假如今天數(shù)據(jù)的分析結(jié)果要等到明天才能得到，那么將會(huì)使電商很難做類似補(bǔ)貨這樣的決策，從而導(dǎo)致這些數(shù)據(jù)失去了分析的意義。

就像我們收集和存儲(chǔ)的數(shù)據(jù)量和種類發(fā)生了變化一樣，生成和需要處理數(shù)據(jù)的速度也在變化。不要將速度的概念限定為與數(shù)據(jù)存儲(chǔ)庫(kù)相關(guān)的增長(zhǎng)速率，應(yīng)動(dòng)態(tài)地將此定義應(yīng)用到數(shù)據(jù)——數(shù)據(jù)流動(dòng)的速度。有效處理大數(shù)據(jù)需要在數(shù)據(jù)變化的過程中對(duì)它的數(shù)量和種類執(zhí)行分析，而不只是在它靜止后執(zhí)行分析。

4、Vitality（靈活）

在互聯(lián)網(wǎng)時(shí)代，和以往相比，企業(yè)的業(yè)務(wù)需求更新的頻率加快了很多，那么相關(guān)大數(shù)據(jù)的分析和處理模型必須快速地適應(yīng)新的業(yè)務(wù)需求。

5、Complexity（復(fù)雜）

雖然傳統(tǒng)的BI已經(jīng)很復(fù)雜了，但是由于前面4個(gè)V的存在，使得針對(duì)大數(shù)據(jù)的處理和分析更艱巨，并且過去那套基于關(guān)系型數(shù)據(jù)庫(kù)的BI開始有點(diǎn)不合時(shí)宜了，同時(shí)也需要根據(jù)不同的業(yè)務(wù)場(chǎng)景，采取不同的處理方式和工具。

大數(shù)據(jù)產(chǎn)業(yè)的戰(zhàn)略地位

1、國(guó)家級(jí)別的戰(zhàn)略產(chǎn)業(yè)

美國(guó)政府認(rèn)為數(shù)據(jù)資源是繼陸空海三大資源外的另一種重要的國(guó)家戰(zhàn)略資源，已將大數(shù)據(jù)戰(zhàn)略上升到國(guó)家層面，從2012年到現(xiàn)在為止提出了諸多促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的宣言和計(jì)劃。英國(guó)在頂著經(jīng)濟(jì)低迷的巨大壓力下還將大數(shù)據(jù)作為重點(diǎn)發(fā)展的科技領(lǐng)域，2013年投資1.89億英鎊用來加強(qiáng)數(shù)據(jù)采集和分析，以求在數(shù)據(jù)革命中搶占先機(jī)，2016年，英國(guó)政府又拿出7300萬英鎊投入大數(shù)據(jù)技術(shù)的開發(fā)。包括：在55個(gè)政府?dāng)?shù)據(jù)分析項(xiàng)目中展開大數(shù)據(jù)技術(shù)的應(yīng)用；以高等學(xué)府為依托投資興辦大數(shù)據(jù)研究中心；積極帶動(dòng)牛津大學(xué)、倫敦大學(xué)等著名高校開設(shè)以大數(shù)據(jù)為核心業(yè)務(wù)的專業(yè)等。同樣日本政府也提出了大力發(fā)展IT業(yè)的發(fā)展計(jì)劃，不斷地對(duì)信息產(chǎn)業(yè)提出戰(zhàn)略規(guī)劃。世界各國(guó)也逐漸意識(shí)到大數(shù)據(jù)時(shí)代的到來，紛紛建立大數(shù)據(jù)產(chǎn)業(yè)。

2、推動(dòng)技術(shù)和知識(shí)創(chuàng)新模式的變革

大數(shù)據(jù)時(shí)代的到來引發(fā)了探索知識(shí)模式的改變。大數(shù)據(jù)時(shí)代的海量數(shù)據(jù)給科研模式帶來了一種新的發(fā)展方向，存在于事物之間的因果關(guān)系已經(jīng)不再是科研人員進(jìn)行深度研究的必要步驟和關(guān)鍵，現(xiàn)在只需從大數(shù)據(jù)中得出有意義的相互關(guān)系，也許從這些相互關(guān)系中不能準(zhǔn)確知曉事物發(fā)生的原因，但是可以預(yù)測(cè)這件事將會(huì)發(fā)生，這個(gè)價(jià)值已經(jīng)足夠大。在企業(yè)界，一些精明的領(lǐng)導(dǎo)者們可以洞察出對(duì)大數(shù)據(jù)的應(yīng)用其實(shí)就是為了管理方式的變革。在學(xué)術(shù)界，著名的第四范式的科學(xué)研究階段提出，即在人類經(jīng)歷了經(jīng)驗(yàn)、理論、計(jì)算三個(gè)科學(xué)研究范式后進(jìn)入第四范式——數(shù)據(jù)探索。

3、推動(dòng)經(jīng)濟(jì)結(jié)構(gòu)轉(zhuǎn)型

大數(shù)據(jù)產(chǎn)業(yè)的興起加快了產(chǎn)業(yè)升級(jí)和經(jīng)濟(jì)結(jié)構(gòu)轉(zhuǎn)型的進(jìn)程。隨著大數(shù)據(jù)時(shí)代的到來，部分產(chǎn)業(yè)界已經(jīng)逐漸把重點(diǎn)轉(zhuǎn)向把傳統(tǒng)產(chǎn)業(yè)和大數(shù)據(jù)產(chǎn)業(yè)相結(jié)合的發(fā)展模式。對(duì)于傳統(tǒng)工業(yè)，采用大數(shù)據(jù)處理方法進(jìn)行新需求的探索和新材料的研發(fā)，既可降低研發(fā)成本，又能提高新產(chǎn)品研發(fā)的準(zhǔn)確性；對(duì)于傳統(tǒng)農(nóng)業(yè)，利用大數(shù)據(jù)處理方法，可以培育新品種。大數(shù)據(jù)將會(huì)帶來新一浪潮的生產(chǎn)力增長(zhǎng)和消費(fèi)者需求。計(jì)算機(jī)行業(yè)也從開始只關(guān)注運(yùn)算速度轉(zhuǎn)移到提高大數(shù)據(jù)的處理分析能力上來，變成真正的信息行業(yè)。大數(shù)據(jù)時(shí)代的發(fā)展迫使軟硬件的不斷更新從而能夠推進(jìn)信息行業(yè)不斷發(fā)展，這為信息產(chǎn)業(yè)提供了又一大的發(fā)展機(jī)遇。

大數(shù)據(jù)行業(yè)發(fā)展規(guī)模

工信部印發(fā)《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃2016-2020年》，特別提出加快推進(jìn)大數(shù)據(jù)產(chǎn)業(yè)應(yīng)用能力，到2020年，技術(shù)先進(jìn)、應(yīng)用繁榮、保障有力的大數(shù)據(jù)產(chǎn)業(yè)體系基本形成。

大數(shù)據(jù)相關(guān)產(chǎn)品和服務(wù)業(yè)務(wù)收入突破1萬億元，加快建設(shè)數(shù)據(jù)強(qiáng)國(guó)，為實(shí)現(xiàn)制造強(qiáng)國(guó)和網(wǎng)絡(luò)強(qiáng)國(guó)提供強(qiáng)大的產(chǎn)業(yè)支撐。

2017年我國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模為4700億元（大數(shù)據(jù)是新興產(chǎn)業(yè)，統(tǒng)計(jì)口徑?jīng)]有標(biāo)準(zhǔn)，市場(chǎng)上對(duì)于大數(shù)據(jù)規(guī)模的統(tǒng)計(jì)數(shù)據(jù)各有不同，本文大數(shù)據(jù)產(chǎn)業(yè)指以數(shù)據(jù)生產(chǎn)、采集、存儲(chǔ)、加工、分析、服務(wù)為主的相關(guān)經(jīng)濟(jì)活動(dòng)，包括數(shù)據(jù)資源建設(shè)、大數(shù)據(jù)軟硬件產(chǎn)品的開發(fā)、銷售和租賃活動(dòng)，以及相關(guān)信息技術(shù)服務(wù)，仍然具有增長(zhǎng)空間。

圖1：2015-2017年中國(guó)大數(shù)據(jù)產(chǎn)業(yè)規(guī)模

數(shù)據(jù)來源：中研普華產(chǎn)業(yè)研究院

中國(guó)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展因素分析

1、有利因素

跟國(guó)外相比，國(guó)內(nèi)的大數(shù)據(jù)發(fā)展，尤其在面向應(yīng)用及相關(guān)技術(shù)方面，具有獨(dú)特優(yōu)勢(shì)。國(guó)內(nèi)外在大數(shù)據(jù)應(yīng)用方面的差距已逐漸縮小，甚至在有些應(yīng)用領(lǐng)域，國(guó)內(nèi)比國(guó)外更靈活、更巧妙，這主要受益于我國(guó)人口基數(shù)大，隨著大數(shù)據(jù)越來越深入人們的生活，全社會(huì)對(duì)數(shù)據(jù)智能化的需求不斷增加，有效激發(fā)了市場(chǎng)活力，帶動(dòng)相關(guān)大數(shù)據(jù)技術(shù)發(fā)展。從總體來看，美國(guó)、英國(guó)和歐洲其他國(guó)家大數(shù)據(jù)發(fā)展處于相對(duì)成熟階段，國(guó)內(nèi)大數(shù)據(jù)發(fā)展已趨于成熟。

當(dāng)前，很多大數(shù)據(jù)技術(shù)應(yīng)用已被金融領(lǐng)域所關(guān)注。全球大數(shù)據(jù)發(fā)展得益于對(duì)計(jì)算機(jī)技術(shù)開源理念的推行，而相比國(guó)外，國(guó)內(nèi)創(chuàng)造新技術(shù)的周期可能更短、速度更快，尤其需要滿足國(guó)內(nèi)龐大人口數(shù)量的廣泛需求，這使國(guó)內(nèi)對(duì)于大數(shù)據(jù)技術(shù)的能力要求超出國(guó)外“標(biāo)準(zhǔn)技術(shù)所達(dá)到的能力范圍，促進(jìn)了國(guó)內(nèi)新技術(shù)的發(fā)展。國(guó)內(nèi)要進(jìn)一步加強(qiáng)對(duì)數(shù)據(jù)應(yīng)用和相關(guān)技術(shù)的梳理，使之成規(guī)模化發(fā)展、成體系化傳承；應(yīng)進(jìn)一步加強(qiáng)與大數(shù)據(jù)相關(guān)的立法、制度和標(biāo)準(zhǔn)化建設(shè)，強(qiáng)化技術(shù)理論研究與傳承，穩(wěn)固大數(shù)據(jù)的根基。

2、不利因素

豐富的數(shù)據(jù)源是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的前提。而我國(guó)數(shù)字化的數(shù)據(jù)資源總量遠(yuǎn)遠(yuǎn)低于美歐，每年新增數(shù)據(jù)量?jī)H為美國(guó)的7%，歐洲的12%，其中政府和制造業(yè)的數(shù)據(jù)資源積累遠(yuǎn)遠(yuǎn)落后于國(guó)外。

就已有有限的數(shù)據(jù)資源來說，還存在標(biāo)準(zhǔn)化、準(zhǔn)確性、完整性低，利用價(jià)值不高的情況，這大大降低了數(shù)據(jù)的價(jià)值。

同時(shí)，我國(guó)政府、企業(yè)和行業(yè)信息化系統(tǒng)建設(shè)往往缺少統(tǒng)一規(guī)劃和科學(xué)論證，系統(tǒng)之間缺乏統(tǒng)一的標(biāo)準(zhǔn)，形成了眾多“信息孤島”，而且受行政壟斷和商業(yè)利益所限，數(shù)據(jù)開放程度較低，以鄰為壑、共享難，這給數(shù)據(jù)利用造成極大障礙。制約我國(guó)數(shù)據(jù)資源開放和共享的一個(gè)重要因素是政策法規(guī)不完善，大數(shù)據(jù)挖掘缺乏相應(yīng)的立法，無法既保證共享又防止濫用。

一方面欠缺推動(dòng)政府和公共數(shù)據(jù)的政策，另一方面數(shù)據(jù)保護(hù)和隱私保護(hù)方面的制度不完善抑制了開放的積極性。因此，建立一個(gè)良性發(fā)展的數(shù)據(jù)共享生態(tài)系統(tǒng)，是我國(guó)大數(shù)據(jù)發(fā)展需要邁過去的第一道砍。

我國(guó)數(shù)據(jù)處理技術(shù)基礎(chǔ)薄弱，總體上以跟隨為主，難以滿足大數(shù)據(jù)大規(guī)模應(yīng)用的需求。

如果把大數(shù)據(jù)比作石油，那數(shù)據(jù)分析工具就是勘探、鉆井、提煉、加工的技術(shù)。

我國(guó)必須掌握大數(shù)據(jù)關(guān)鍵技術(shù)，才能將資源轉(zhuǎn)化為價(jià)值。

圖2:2018-2023年中國(guó)大數(shù)據(jù)產(chǎn)業(yè)市場(chǎng)規(guī)模預(yù)測(cè)

數(shù)據(jù)來源：中研普華產(chǎn)業(yè)研究院

2018年大數(shù)據(jù)專業(yè)就業(yè)前景

大數(shù)據(jù)人才稀缺

據(jù)數(shù)聯(lián)尋英發(fā)布《大數(shù)據(jù)人才報(bào)告》顯示,目前全國(guó)的大數(shù)據(jù)人才僅46萬,未來3-5年內(nèi)大數(shù)據(jù)人才的缺口將高達(dá)150萬。

據(jù)職業(yè)社交平臺(tái)LinkedIn發(fā)布的《2016年中國(guó)互聯(lián)網(wǎng)最熱職位人才報(bào)告》顯示，研發(fā)工程師、產(chǎn)品經(jīng)理、人力資源、市場(chǎng)營(yíng)銷、運(yùn)營(yíng)和數(shù)據(jù)分析是當(dāng)下中國(guó)互聯(lián)網(wǎng)行業(yè)需求最旺盛的六類人才職位。其中研發(fā)工程師需求量最大，而數(shù)據(jù)分析人才最為稀缺。領(lǐng)英報(bào)告表明，數(shù)據(jù)分析人才的供給指數(shù)最低，僅為0.05，屬于高度稀缺。數(shù)據(jù)分析人才跳槽速度也最快，平均跳槽速度為19.8個(gè)月。

根據(jù)中國(guó)商業(yè)聯(lián)合會(huì)數(shù)據(jù)分析專業(yè)委員會(huì)統(tǒng)計(jì)，未來中國(guó)基礎(chǔ)性數(shù)據(jù)分析人才缺口將達(dá)到1400萬，而在BAT企業(yè)招聘的職位里，60%以上都在招大數(shù)據(jù)人才。

大數(shù)據(jù)專業(yè)就業(yè)三大方向

大數(shù)據(jù)主要的三大就業(yè)方向：大數(shù)據(jù)系統(tǒng)研發(fā)類人才、大數(shù)據(jù)應(yīng)用開發(fā)類人才和大數(shù)據(jù)分析類人才。

在此三大方向中，各自的基礎(chǔ)崗位一般為大數(shù)據(jù)系統(tǒng)研發(fā)工程師、大數(shù)據(jù)應(yīng)用開發(fā)工程師和數(shù)據(jù)分析師。

大數(shù)據(jù)專業(yè)人才就業(yè)薪資

1基礎(chǔ)人才：數(shù)據(jù)分析師

北京數(shù)據(jù)分析平均工資： 10630/月，取自 15526 份樣本，較 2016 年，增長(zhǎng) 9.4%。

數(shù)據(jù)分析師崗位職責(zé)

業(yè)務(wù)類別:技術(shù)

業(yè)務(wù)方向:數(shù)據(jù)分析

工作職責(zé):

1. 根據(jù)公司產(chǎn)品和業(yè)務(wù)需求，利用數(shù)據(jù)挖掘等工具對(duì)多種數(shù)據(jù)源進(jìn)行診斷分析，建設(shè)征信分析模型并優(yōu)化，為公司征信運(yùn)營(yíng)決策、產(chǎn)品設(shè)計(jì)等方面提供數(shù)據(jù)支持；

2. 負(fù)責(zé)項(xiàng)目的需求調(diào)研、數(shù)據(jù)分析、商業(yè)分析和數(shù)據(jù)挖掘模型等，通過對(duì)運(yùn)行數(shù)據(jù)進(jìn)行分析挖掘背后隱含的規(guī)律及對(duì)未來的預(yù)測(cè)；

3. 參與數(shù)據(jù)挖掘模型的構(gòu)建、維護(hù)、部署和評(píng)估；

4. 整理編寫商業(yè)數(shù)據(jù)分析報(bào)告，及時(shí)發(fā)現(xiàn)和分析其中變化和問題，為業(yè)務(wù)發(fā)展提供決策支持；

5. 獨(dú)立完成項(xiàng)目需求管理、方案設(shè)計(jì)、實(shí)施管理和項(xiàng)目成果質(zhì)量的把控；

6. 參與編寫項(xiàng)目相關(guān)文檔。

教育背景:

學(xué)歷：本科其它：

經(jīng)驗(yàn)要求:工作經(jīng)驗(yàn)：3-5年

任職要求:

1. 統(tǒng)計(jì)學(xué)、數(shù)學(xué)或計(jì)算機(jī)、數(shù)理統(tǒng)計(jì)或數(shù)據(jù)挖掘?qū)I(yè)方向相關(guān)專業(yè)本科或以上學(xué)歷；有扎實(shí)的數(shù)據(jù)統(tǒng)計(jì)和數(shù)據(jù)挖掘?qū)I(yè)知識(shí)；

2. 熟練使用數(shù)理統(tǒng)計(jì)、數(shù)據(jù)分析、數(shù)據(jù)挖掘工具軟件（SAS、R、Python等的一種或多種），能熟練使用SQL讀取數(shù)據(jù)；

3. 使用過 邏輯回歸、神經(jīng)網(wǎng)絡(luò)、決策樹、聚類 等的一種或多種建模方法；

4. 3年以上數(shù)據(jù)分析工作經(jīng)驗(yàn)，征信從業(yè)背景人員優(yōu)先；

5. 具有金融行業(yè)項(xiàng)目經(jīng)驗(yàn)的相關(guān)經(jīng)驗(yàn)者優(yōu)先考慮；

6. 主動(dòng)性強(qiáng)，有較強(qiáng)的責(zé)任心，積極向上的工作態(tài)度，有團(tuán)隊(duì)協(xié)作精神。

能力素養(yǎng):

良好的分析、歸納和總結(jié)能力，善于分析、解決實(shí)際問題； 主動(dòng)性強(qiáng)，有較強(qiáng)的責(zé)任心，積極向上的工作態(tài)度，有團(tuán)隊(duì)協(xié)作精神。

2大數(shù)據(jù)開發(fā)工程師

北京大數(shù)據(jù)開發(fā)平均工資： 30230/月。

大數(shù)據(jù)開發(fā)工程師/專家 崗位指責(zé)（引自 滴滴出行）：

職位描述：

1、構(gòu)建分布式大數(shù)據(jù)服務(wù)平臺(tái)，參與和構(gòu)建公司包括海量數(shù)據(jù)存儲(chǔ)、離線/實(shí)時(shí)計(jì)算、實(shí)時(shí)查詢，大數(shù)據(jù)系統(tǒng)運(yùn)維等系統(tǒng)；

2、服務(wù)各種業(yè)務(wù)需求，服務(wù)日益增長(zhǎng)的業(yè)務(wù)和數(shù)據(jù)量；

3、深入源碼內(nèi)核改進(jìn)優(yōu)化開源項(xiàng)目，解決各種hadoop、spark、hbase疑難問題，參與到開源社區(qū)建設(shè)和代碼貢獻(xiàn)；

崗位要求：

1、計(jì)算機(jī)或相關(guān)專業(yè)本科以上學(xué)歷（3年以上工作經(jīng)驗(yàn)）；

2、精通C++/Java/Scala程序開發(fā)(至少一種)，熟悉Linux/Unix開發(fā)環(huán)境；

3、熟悉常用開源分布式系統(tǒng)，精通Hadoop/Hive/Spark/Storm/Flink/HBase之一源代碼；

4、有大規(guī)模分布式系統(tǒng)開發(fā)、維護(hù)經(jīng)驗(yàn)，有故障處理能力，源碼級(jí)開發(fā)能力；

5、具有良好的溝通協(xié)作能力，具有較強(qiáng)的分享精神；

6、對(duì)Kudu、Kylin、Impala、ElasticSearch，github等系統(tǒng)有深入使用和底層研究者加分；

3Hadoop開發(fā)工程師

北京hadoop平均工資： 20130/月，取自 1734 份樣本。

Hadoop開發(fā)工程師崗位職責(zé)（引自新浪網(wǎng)）：

職位描述：

1.參與優(yōu)化改進(jìn)新浪集團(tuán)數(shù)據(jù)平臺(tái)基礎(chǔ)服務(wù)，參與日傳輸量超過百TB的數(shù)據(jù)傳輸體系優(yōu)化，日處理量超過PB級(jí)別的數(shù)據(jù)處理平臺(tái)改進(jìn)，多維實(shí)時(shí)查詢分析系統(tǒng)的構(gòu)建優(yōu)化；

2.分布式機(jī)器學(xué)習(xí)算法在數(shù)據(jù)平臺(tái)的構(gòu)建與優(yōu)化（包括常見的LR、GBDT、FM、LDA、Word2Vec及DNN等）；

3.深入源碼改進(jìn)各種開源大數(shù)據(jù)項(xiàng)目（包括Hadoop、Spark、Kafka、HBase等）。

任職要求：

1.計(jì)算機(jī)或相關(guān)專業(yè)本科以上學(xué)歷；

2.熟悉Linux環(huán)境下開發(fā)，熟練掌握C++/Java/Scala等一種以上編程語言；

3.熟悉Hadoop生態(tài)系統(tǒng)相關(guān)項(xiàng)目，精通以下項(xiàng)目之一的源碼（Hadoop/Spark/Kafka/HBase/Flume/ElasticSearch/Druid/Kylin）；

4.具備良好的學(xué)習(xí)能力、分析能力和解決問題的能力。

4數(shù)據(jù)挖掘工程師

北京數(shù)據(jù)挖掘平均工資： 21740/月，取自 3449 份樣本，較 2016 年，增長(zhǎng) 20.3%；

數(shù)據(jù)挖掘工程師招聘要求（引自螞蟻金服集團(tuán)技術(shù)部）：

工作職責(zé)：

1、在分布式系統(tǒng)上進(jìn)行數(shù)據(jù)計(jì)算、挖掘、和實(shí)現(xiàn)算法；

2、數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)和建立；

3、數(shù)據(jù)梳理流程的實(shí)現(xiàn)和維護(hù)；

4、物流場(chǎng)景下的地址文本、空間屬性研究和分析。

任職資格：

1、本科以上學(xué)歷，有扎實(shí)的統(tǒng)計(jì)學(xué)，數(shù)據(jù)挖掘，機(jī)器學(xué)習(xí)，自然語言識(shí)別理論基礎(chǔ)，一種或幾種以上的實(shí)際使用經(jīng)驗(yàn)。

2、熟悉聚類、分類、回歸等機(jī)器學(xué)習(xí)算法和實(shí)現(xiàn)，對(duì)常見的核心算法和數(shù)據(jù)挖掘方法有透徹的理解和實(shí)際經(jīng)驗(yàn)。

3、深入理解Map-Reduce模型，對(duì)Hadoop、Hive、Spark、Storm等大規(guī)模數(shù)據(jù)存儲(chǔ)于運(yùn)算平臺(tái)有實(shí)踐經(jīng)驗(yàn)。

4、有扎實(shí)的計(jì)算機(jī)理論基礎(chǔ)，至少熟悉一種編程語言，Java優(yōu)先。

5、有三年以上互聯(lián)網(wǎng)公司或者海量數(shù)據(jù)處理工作經(jīng)驗(yàn)，大數(shù)據(jù)挖掘、分析、建模經(jīng)驗(yàn)

5算法工程師

北京算法工程師平均工資： 22640/月，取自 10176 份樣本。

算法工程師 招聘要求（引自美團(tuán)點(diǎn)評(píng)數(shù)據(jù)平臺(tái)部）：

職位描述：

互聯(lián)網(wǎng)公司背景優(yōu)先

A、廣告算法

崗位職責(zé)：

1.負(fù)責(zé)點(diǎn)擊率預(yù)估等主要廣告算法的技術(shù)選型；

2.負(fù)責(zé)核心算法的開發(fā)；

3.負(fù)責(zé)廣告大數(shù)據(jù)處理流程的建設(shè)及相關(guān)工具的研發(fā)；

4.負(fù)責(zé)廣告技術(shù)研究項(xiàng)目的推進(jìn)與管理；

職位需求：

1.計(jì)算機(jī)或相關(guān)專業(yè)本科以上學(xué)歷，3年以上相關(guān)工作經(jīng)驗(yàn);

2.熟練掌握一門開發(fā)語言；

3.有機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘相關(guān)知識(shí)；

4.在廣告、搜索、推薦等相關(guān)領(lǐng)域之一有技術(shù)研究工作經(jīng)驗(yàn)；

5.有較強(qiáng)的溝通協(xié)調(diào)能力；

B、推薦算法

職位描述：

1. 參與各個(gè)產(chǎn)品線的個(gè)性化推薦系統(tǒng)的研發(fā)；

2. 分析用戶行為數(shù)據(jù)，并設(shè)計(jì)合理的推薦算法模型及策略，并優(yōu)化推薦排序；

3. 通過對(duì)用戶行為數(shù)據(jù)的挖掘，對(duì)用戶進(jìn)行建模，精準(zhǔn)刻畫用戶各種屬性；

職位要求：

1. 全日制本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)；

2. 熟練掌握各類個(gè)性化推薦算法，并有開發(fā)個(gè)性化推薦系統(tǒng)的實(shí)際項(xiàng)目經(jīng)驗(yàn)；熟練掌握各類回歸及排序算法，能夠利用相關(guān)算法進(jìn)行推薦排序的優(yōu)化；

3. 熟練掌握分類、聚類、回歸、降維等經(jīng)典機(jī)器學(xué)習(xí)算法和技術(shù)，能夠根據(jù)實(shí)際問題選擇合適的模型和算法并進(jìn)行相應(yīng)的開發(fā)；

4. 有較強(qiáng)的工程架構(gòu)和開發(fā)能力，能夠?qū)崿F(xiàn)支撐千萬級(jí)用戶和TB級(jí)用戶行為數(shù)據(jù)的推薦系統(tǒng)或算法；

5. 掌握python、matlab等腳本語言，熟悉各類數(shù)據(jù)挖掘工具（如weka、Mahout），能夠快速建立模型并進(jìn)行驗(yàn)證；

C、算法工程師

崗位職責(zé):

1、開發(fā)和優(yōu)化用戶行為數(shù)據(jù)挖掘，文本分類和語義理解，社交網(wǎng)絡(luò)分析，網(wǎng)頁(yè)搜索，推薦系統(tǒng)等領(lǐng)域的特定算法

2、能夠很快學(xué)習(xí)和利用state-of-the-art的算法解決實(shí)際產(chǎn)品問題，提升產(chǎn)品用戶體驗(yàn)

任職資格:

1、有一定的研究、實(shí)驗(yàn)的能力，優(yōu)秀的分析問題和解決問題的能力

2、理解自然語言處理、機(jī)器學(xué)習(xí)、網(wǎng)頁(yè)搜索，推薦系統(tǒng)，用戶數(shù)據(jù)分析和建模的基本概念和常用方法，有相關(guān)領(lǐng)域的實(shí)際項(xiàng)目研發(fā)或者實(shí)習(xí)經(jīng)歷者優(yōu)先。

3、熟悉C++, Java或Python，熟悉Linux或類Unix系統(tǒng)開發(fā),有較強(qiáng)的編程能力。 能獨(dú)立實(shí)現(xiàn)線上算法模塊者優(yōu)先。

4、對(duì)大數(shù)據(jù)處理平臺(tái)和工具有一定經(jīng)驗(yàn)者優(yōu)先, 包括： Hadoop, Hive, Pig, Spark 等

最后一個(gè)問題，哪些公司需求大數(shù)據(jù)人才？

答：所有的公司。大到世界500強(qiáng)，BAT這樣的公司，小到創(chuàng)業(yè)公司，他們都需求數(shù)據(jù)人才。

馬云爸爸說“我們已從IT時(shí)代進(jìn)入了DT時(shí)代，未來我們的汽車、電燈泡、電視機(jī)、電冰箱等將全部裝上操作系統(tǒng)，并進(jìn)行數(shù)據(jù)集成，數(shù)據(jù)將會(huì)讓機(jī)器更“聰明”。DT時(shí)代，數(shù)據(jù)將成為主要的能源，離開了數(shù)據(jù)，任何組織的創(chuàng)新都基本上是空殼?！?/p>

數(shù)據(jù)，未來的一切。