大數(shù)據(jù)行業(yè)這么火，很多人想要轉(zhuǎn)行從事大數(shù)據(jù)技術(shù)工作了，你知道大數(shù)據(jù)行業(yè)都有什么職位嗎?他們的工作內(nèi)容是什么?大數(shù)據(jù)工程師的工作辛苦嗎?需要經(jīng)常加班嗎?

大數(shù)據(jù)行業(yè)相關(guān)工作分析

大數(shù)據(jù)行業(yè)范圍很廣，從事大數(shù)據(jù)職位的人才每天所做的工作不一樣，使用的技能也不一樣，下面看看大數(shù)據(jù)行業(yè)相關(guān)工作分析：

一、 大數(shù)據(jù)工程師工作分析

大數(shù)據(jù)工程師的工作內(nèi)容有哪些?大數(shù)據(jù)工程師側(cè)重點(diǎn)不一樣，有的強(qiáng)調(diào)數(shù)據(jù)庫編程，有的突出應(yīng)用數(shù)據(jù)和統(tǒng)計(jì)學(xué)知識，其實(shí)大數(shù)據(jù)工程師是一個統(tǒng)稱，數(shù)據(jù)挖掘工程師、大數(shù)據(jù)專家、數(shù)據(jù)研究員、用戶分析專家等這些大數(shù)據(jù)相關(guān)職務(wù)都是大數(shù)據(jù)工程師。

大數(shù)據(jù)工程師首先要具備的條件就是邏輯思維，可以迅速定位某個商業(yè)問題的關(guān)鍵屬性和決定因素，擁有大規(guī)模的處理數(shù)據(jù)經(jīng)驗(yàn)知道什么是相關(guān)什么是無關(guān)，使用什么數(shù)據(jù)是有價值的，如何找到業(yè)務(wù)最核心的需求。

二、 大數(shù)據(jù)架構(gòu)師工作分析

大數(shù)據(jù)架構(gòu)師的主要職責(zé)就是建立和維持?jǐn)?shù)據(jù)存儲的技術(shù)基準(zhǔn)，通過規(guī)劃硬件軟件的結(jié)構(gòu)，保持?jǐn)?shù)據(jù)存儲系統(tǒng)可以支持未來數(shù)據(jù)量和分析的需求。目前行業(yè)內(nèi)對大數(shù)據(jù)架構(gòu)師的要求是擁有電腦科學(xué)學(xué)位并且精通數(shù)據(jù)庫相關(guān)知識，對關(guān)聯(lián)式數(shù)據(jù)庫、數(shù)據(jù)倉庫以及分散式數(shù)據(jù)系統(tǒng)等專業(yè)技術(shù)能力有足夠的了解，而且大數(shù)據(jù)架構(gòu)師的薪資也很高。

三、 大數(shù)據(jù)科學(xué)家工作分析

大數(shù)據(jù)科學(xué)師是大數(shù)據(jù)分析師的進(jìn)化版，更高一級的工作崗位，大數(shù)據(jù)科學(xué)家把精力都放在分析數(shù)據(jù)的算法，提出不同的決策方案測試?yán)碚撗芯俊?/p>

四、 大數(shù)據(jù)工作者需要掌握的技能

1.數(shù)據(jù)倉庫：數(shù)據(jù)倉庫是將大量數(shù)據(jù)集合到一個地方進(jìn)行分析，每天大量的數(shù)據(jù)信息需要有存儲的地方，數(shù)據(jù)倉庫讓它們聚集在一個地方，數(shù)據(jù)工程師常用數(shù)據(jù)倉庫來工作。

2.計(jì)算機(jī)學(xué)習(xí)算法以及mahout庫加mllib、R語言、lambad架構(gòu)、kappa架構(gòu)、kylin、alluxio。

3.實(shí)戰(zhàn)項(xiàng)目經(jīng)驗(yàn)，無亂是在那個工作行業(yè)就職，都想要有實(shí)戰(zhàn)項(xiàng)目經(jīng)驗(yàn)，這樣的大數(shù)據(jù)人才普遍比較受重用，這樣的大數(shù)據(jù)人才能力也很強(qiáng)。

大數(shù)據(jù)行業(yè)的每一個職位工作都不一樣，工作的側(cè)重點(diǎn)也不一樣，重點(diǎn)掌握的技能也不一樣，想要成為一個合格的大數(shù)據(jù)行業(yè)工作者，努力提升自己的專業(yè)技能吧!

大數(shù)據(jù)（big data），指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)特征分析

大數(shù)據(jù)，不僅有“大”這個特點(diǎn)，除此之外，它還有很多其他特色。在這方面，業(yè)界各個廠商都有自己獨(dú)特的見解，但是總體而言，可以用“4V+1C”來概括，“4V+1C分別代表了Variety（多樣化）、Volume（海量）、Velocity（快速）、Vitality（靈活）以及Complexity（復(fù)雜）這五個單詞。

1、Variety（多樣化）

大數(shù)據(jù)一般包括以事務(wù)為代表的結(jié)構(gòu)化數(shù)據(jù)、以網(wǎng)頁為代表的半結(jié)構(gòu)化數(shù)據(jù)和以視頻和語音信息為代表的非結(jié)構(gòu)化等多類數(shù)據(jù)，并且它們的處理和分析方式區(qū)別很大。

與大數(shù)據(jù)現(xiàn)象有關(guān)的數(shù)據(jù)量為嘗試處理它的數(shù)據(jù)中心帶來了新的挑戰(zhàn)：它多樣的種類。隨著傳感器、智能設(shè)備以及社交協(xié)作技術(shù)的激增，企業(yè)中的數(shù)據(jù)也變得更加復(fù)雜，因?yàn)樗粌H包含傳統(tǒng)的關(guān)系型數(shù)據(jù)，還包含來自網(wǎng)頁、互聯(lián)網(wǎng)日志文件（包括單擊流數(shù)據(jù)）、搜索索引、社交媒體論壇、電子郵件、文檔、主動和被動系統(tǒng)的傳感器數(shù)據(jù)等原始、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。簡言之，種類表示所有的數(shù)據(jù)類型。

2、Volume（海量）

如今存儲的數(shù)據(jù)數(shù)量正在急劇增長，毫無疑問我們正深陷在數(shù)據(jù)之中。我們存儲所有事物：環(huán)境數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)、醫(yī)療數(shù)據(jù)、監(jiān)控?cái)?shù)據(jù)等。有關(guān)數(shù)據(jù)量的對話已從TB級別轉(zhuǎn)向PB級別，并且不可避免地會轉(zhuǎn)向ZB級。現(xiàn)在經(jīng)常聽到一些企業(yè)使用存儲集群來保存數(shù)PB的數(shù)據(jù)。隨著可供企業(yè)使用的數(shù)據(jù)量不斷增長，可處理、理解和分析的數(shù)據(jù)比例卻不斷下降。

通過各種智能設(shè)備產(chǎn)生了大量的數(shù)據(jù)，PB級別可謂是常態(tài)，一些客戶每天處理的數(shù)據(jù)量都在幾十GB、幾百GB左右，估計(jì)國內(nèi)大型互聯(lián)網(wǎng)企業(yè)每天的數(shù)據(jù)量已經(jīng)接近TB級別。

3、Velocity（快速）

大數(shù)據(jù)要求快速處理，因?yàn)橛行?shù)據(jù)存在時效性。比如電商的數(shù)據(jù)，假如今天數(shù)據(jù)的分析結(jié)果要等到明天才能得到，那么將會使電商很難做類似補(bǔ)貨這樣的決策，從而導(dǎo)致這些數(shù)據(jù)失去了分析的意義。

就像我們收集和存儲的數(shù)據(jù)量和種類發(fā)生了變化一樣，生成和需要處理數(shù)據(jù)的速度也在變化。不要將速度的概念限定為與數(shù)據(jù)存儲庫相關(guān)的增長速率，應(yīng)動態(tài)地將此定義應(yīng)用到數(shù)據(jù)——數(shù)據(jù)流動的速度。有效處理大數(shù)據(jù)需要在數(shù)據(jù)變化的過程中對它的數(shù)量和種類執(zhí)行分析，而不只是在它靜止后執(zhí)行分析。

4、Vitality（靈活）

在互聯(lián)網(wǎng)時代，和以往相比，企業(yè)的業(yè)務(wù)需求更新的頻率加快了很多，那么相關(guān)大數(shù)據(jù)的分析和處理模型必須快速地適應(yīng)新的業(yè)務(wù)需求。

5、Complexity（復(fù)雜）

雖然傳統(tǒng)的BI已經(jīng)很復(fù)雜了，但是由于前面4個V的存在，使得針對大數(shù)據(jù)的處理和分析更艱巨，并且過去那套基于關(guān)系型數(shù)據(jù)庫的BI開始有點(diǎn)不合時宜了，同時也需要根據(jù)不同的業(yè)務(wù)場景，采取不同的處理方式和工具。

大數(shù)據(jù)產(chǎn)業(yè)的戰(zhàn)略地位

1、國家級別的戰(zhàn)略產(chǎn)業(yè)

美國政府認(rèn)為數(shù)據(jù)資源是繼陸空海三大資源外的另一種重要的國家戰(zhàn)略資源，已將大數(shù)據(jù)戰(zhàn)略上升到國家層面，從2012年到現(xiàn)在為止提出了諸多促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的宣言和計(jì)劃。英國在頂著經(jīng)濟(jì)低迷的巨大壓力下還將大數(shù)據(jù)作為重點(diǎn)發(fā)展的科技領(lǐng)域，2013年投資1.89億英鎊用來加強(qiáng)數(shù)據(jù)采集和分析，以求在數(shù)據(jù)革命中搶占先機(jī)，2016年，英國政府又拿出7300萬英鎊投入大數(shù)據(jù)技術(shù)的開發(fā)。包括：在55個政府?dāng)?shù)據(jù)分析項(xiàng)目中展開大數(shù)據(jù)技術(shù)的應(yīng)用；以高等學(xué)府為依托投資興辦大數(shù)據(jù)研究中心；積極帶動牛津大學(xué)、倫敦大學(xué)等著名高校開設(shè)以大數(shù)據(jù)為核心業(yè)務(wù)的專業(yè)等。同樣日本政府也提出了大力發(fā)展IT業(yè)的發(fā)展計(jì)劃，不斷地對信息產(chǎn)業(yè)提出戰(zhàn)略規(guī)劃。世界各國也逐漸意識到大數(shù)據(jù)時代的到來，紛紛建立大數(shù)據(jù)產(chǎn)業(yè)。

2、推動技術(shù)和知識創(chuàng)新模式的變革

大數(shù)據(jù)時代的到來引發(fā)了探索知識模式的改變。大數(shù)據(jù)時代的海量數(shù)據(jù)給科研模式帶來了一種新的發(fā)展方向，存在于事物之間的因果關(guān)系已經(jīng)不再是科研人員進(jìn)行深度研究的必要步驟和關(guān)鍵，現(xiàn)在只需從大數(shù)據(jù)中得出有意義的相互關(guān)系，也許從這些相互關(guān)系中不能準(zhǔn)確知曉事物發(fā)生的原因，但是可以預(yù)測這件事將會發(fā)生，這個價值已經(jīng)足夠大。在企業(yè)界，一些精明的領(lǐng)導(dǎo)者們可以洞察出對大數(shù)據(jù)的應(yīng)用其實(shí)就是為了管理方式的變革。在學(xué)術(shù)界，著名的第四范式的科學(xué)研究階段提出，即在人類經(jīng)歷了經(jīng)驗(yàn)、理論、計(jì)算三個科學(xué)研究范式后進(jìn)入第四范式——數(shù)據(jù)探索。

3、推動經(jīng)濟(jì)結(jié)構(gòu)轉(zhuǎn)型

大數(shù)據(jù)產(chǎn)業(yè)的興起加快了產(chǎn)業(yè)升級和經(jīng)濟(jì)結(jié)構(gòu)轉(zhuǎn)型的進(jìn)程。隨著大數(shù)據(jù)時代的到來，部分產(chǎn)業(yè)界已經(jīng)逐漸把重點(diǎn)轉(zhuǎn)向把傳統(tǒng)產(chǎn)業(yè)和大數(shù)據(jù)產(chǎn)業(yè)相結(jié)合的發(fā)展模式。對于傳統(tǒng)工業(yè)，采用大數(shù)據(jù)處理方法進(jìn)行新需求的探索和新材料的研發(fā)，既可降低研發(fā)成本，又能提高新產(chǎn)品研發(fā)的準(zhǔn)確性；對于傳統(tǒng)農(nóng)業(yè)，利用大數(shù)據(jù)處理方法，可以培育新品種。大數(shù)據(jù)將會帶來新一浪潮的生產(chǎn)力增長和消費(fèi)者需求。計(jì)算機(jī)行業(yè)也從開始只關(guān)注運(yùn)算速度轉(zhuǎn)移到提高大數(shù)據(jù)的處理分析能力上來，變成真正的信息行業(yè)。大數(shù)據(jù)時代的發(fā)展迫使軟硬件的不斷更新從而能夠推進(jìn)信息行業(yè)不斷發(fā)展，這為信息產(chǎn)業(yè)提供了又一大的發(fā)展機(jī)遇。

大數(shù)據(jù)行業(yè)發(fā)展規(guī)模

工信部印發(fā)《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃2016-2020年》，特別提出加快推進(jìn)大數(shù)據(jù)產(chǎn)業(yè)應(yīng)用能力，到2020年，技術(shù)先進(jìn)、應(yīng)用繁榮、保障有力的大數(shù)據(jù)產(chǎn)業(yè)體系基本形成。

大數(shù)據(jù)相關(guān)產(chǎn)品和服務(wù)業(yè)務(wù)收入突破1萬億元，加快建設(shè)數(shù)據(jù)強(qiáng)國，為實(shí)現(xiàn)制造強(qiáng)國和網(wǎng)絡(luò)強(qiáng)國提供強(qiáng)大的產(chǎn)業(yè)支撐。

2017年我國大數(shù)據(jù)市場規(guī)模為4700億元（大數(shù)據(jù)是新興產(chǎn)業(yè)，統(tǒng)計(jì)口徑?jīng)]有標(biāo)準(zhǔn)，市場上對于大數(shù)據(jù)規(guī)模的統(tǒng)計(jì)數(shù)據(jù)各有不同，本文大數(shù)據(jù)產(chǎn)業(yè)指以數(shù)據(jù)生產(chǎn)、采集、存儲、加工、分析、服務(wù)為主的相關(guān)經(jīng)濟(jì)活動，包括數(shù)據(jù)資源建設(shè)、大數(shù)據(jù)軟硬件產(chǎn)品的開發(fā)、銷售和租賃活動，以及相關(guān)信息技術(shù)服務(wù)，仍然具有增長空間。

圖1：2015-2017年中國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模

數(shù)據(jù)來源：中研普華產(chǎn)業(yè)研究院

中國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展因素分析

1、有利因素

跟國外相比，國內(nèi)的大數(shù)據(jù)發(fā)展，尤其在面向應(yīng)用及相關(guān)技術(shù)方面，具有獨(dú)特優(yōu)勢。國內(nèi)外在大數(shù)據(jù)應(yīng)用方面的差距已逐漸縮小，甚至在有些應(yīng)用領(lǐng)域，國內(nèi)比國外更靈活、更巧妙，這主要受益于我國人口基數(shù)大，隨著大數(shù)據(jù)越來越深入人們的生活，全社會對數(shù)據(jù)智能化的需求不斷增加，有效激發(fā)了市場活力，帶動相關(guān)大數(shù)據(jù)技術(shù)發(fā)展。從總體來看，美國、英國和歐洲其他國家大數(shù)據(jù)發(fā)展處于相對成熟階段，國內(nèi)大數(shù)據(jù)發(fā)展已趨于成熟。

當(dāng)前，很多大數(shù)據(jù)技術(shù)應(yīng)用已被金融領(lǐng)域所關(guān)注。全球大數(shù)據(jù)發(fā)展得益于對計(jì)算機(jī)技術(shù)開源理念的推行，而相比國外，國內(nèi)創(chuàng)造新技術(shù)的周期可能更短、速度更快，尤其需要滿足國內(nèi)龐大人口數(shù)量的廣泛需求，這使國內(nèi)對于大數(shù)據(jù)技術(shù)的能力要求超出國外“標(biāo)準(zhǔn)技術(shù)所達(dá)到的能力范圍，促進(jìn)了國內(nèi)新技術(shù)的發(fā)展。國內(nèi)要進(jìn)一步加強(qiáng)對數(shù)據(jù)應(yīng)用和相關(guān)技術(shù)的梳理，使之成規(guī)?；l(fā)展、成體系化傳承；應(yīng)進(jìn)一步加強(qiáng)與大數(shù)據(jù)相關(guān)的立法、制度和標(biāo)準(zhǔn)化建設(shè)，強(qiáng)化技術(shù)理論研究與傳承，穩(wěn)固大數(shù)據(jù)的根基。

2、不利因素

豐富的數(shù)據(jù)源是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的前提。而我國數(shù)字化的數(shù)據(jù)資源總量遠(yuǎn)遠(yuǎn)低于美歐，每年新增數(shù)據(jù)量僅為美國的7%，歐洲的12%，其中政府和制造業(yè)的數(shù)據(jù)資源積累遠(yuǎn)遠(yuǎn)落后于國外。

就已有有限的數(shù)據(jù)資源來說，還存在標(biāo)準(zhǔn)化、準(zhǔn)確性、完整性低，利用價值不高的情況，這大大降低了數(shù)據(jù)的價值。

同時，我國政府、企業(yè)和行業(yè)信息化系統(tǒng)建設(shè)往往缺少統(tǒng)一規(guī)劃和科學(xué)論證，系統(tǒng)之間缺乏統(tǒng)一的標(biāo)準(zhǔn)，形成了眾多“信息孤島”，而且受行政壟斷和商業(yè)利益所限，數(shù)據(jù)開放程度較低，以鄰為壑、共享難，這給數(shù)據(jù)利用造成極大障礙。制約我國數(shù)據(jù)資源開放和共享的一個重要因素是政策法規(guī)不完善，大數(shù)據(jù)挖掘缺乏相應(yīng)的立法，無法既保證共享又防止濫用。

一方面欠缺推動政府和公共數(shù)據(jù)的政策，另一方面數(shù)據(jù)保護(hù)和隱私保護(hù)方面的制度不完善抑制了開放的積極性。因此，建立一個良性發(fā)展的數(shù)據(jù)共享生態(tài)系統(tǒng)，是我國大數(shù)據(jù)發(fā)展需要邁過去的第一道砍。

我國數(shù)據(jù)處理技術(shù)基礎(chǔ)薄弱，總體上以跟隨為主，難以滿足大數(shù)據(jù)大規(guī)模應(yīng)用的需求。

如果把大數(shù)據(jù)比作石油，那數(shù)據(jù)分析工具就是勘探、鉆井、提煉、加工的技術(shù)。

我國必須掌握大數(shù)據(jù)關(guān)鍵技術(shù)，才能將資源轉(zhuǎn)化為價值。

圖2:2018-2023年中國大數(shù)據(jù)產(chǎn)業(yè)市場規(guī)模預(yù)測

數(shù)據(jù)來源：中研普華產(chǎn)業(yè)研究院