大數(shù)據(jù)（big data），指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)特征分析

大數(shù)據(jù)，不僅有“大”這個特點(diǎn)，除此之外，它還有很多其他特色。在這方面，業(yè)界各個廠商都有自己獨(dú)特的見解，但是總體而言，可以用“4V+1C”來概括，“4V+1C分別代表了Variety（多樣化）、Volume（海量）、Velocity（快速）、Vitality（靈活）以及Complexity（復(fù)雜）這五個單詞。

1、Variety（多樣化）

大數(shù)據(jù)一般包括以事務(wù)為代表的結(jié)構(gòu)化數(shù)據(jù)、以網(wǎng)頁為代表的半結(jié)構(gòu)化數(shù)據(jù)和以視頻和語音信息為代表的非結(jié)構(gòu)化等多類數(shù)據(jù)，并且它們的處理和分析方式區(qū)別很大。

與大數(shù)據(jù)現(xiàn)象有關(guān)的數(shù)據(jù)量為嘗試處理它的數(shù)據(jù)中心帶來了新的挑戰(zhàn)：它多樣的種類。隨著傳感器、智能設(shè)備以及社交協(xié)作技術(shù)的激增，企業(yè)中的數(shù)據(jù)也變得更加復(fù)雜，因?yàn)樗粌H包含傳統(tǒng)的關(guān)系型數(shù)據(jù)，還包含來自網(wǎng)頁、互聯(lián)網(wǎng)日志文件（包括單擊流數(shù)據(jù)）、搜索索引、社交媒體論壇、電子郵件、文檔、主動和被動系統(tǒng)的傳感器數(shù)據(jù)等原始、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。簡言之，種類表示所有的數(shù)據(jù)類型。

2、Volume（海量）

如今存儲的數(shù)據(jù)數(shù)量正在急劇增長，毫無疑問我們正深陷在數(shù)據(jù)之中。我們存儲所有事物：環(huán)境數(shù)據(jù)、財務(wù)數(shù)據(jù)、醫(yī)療數(shù)據(jù)、監(jiān)控數(shù)據(jù)等。有關(guān)數(shù)據(jù)量的對話已從TB級別轉(zhuǎn)向PB級別，并且不可避免地會轉(zhuǎn)向ZB級?，F(xiàn)在經(jīng)常聽到一些企業(yè)使用存儲集群來保存數(shù)PB的數(shù)據(jù)。隨著可供企業(yè)使用的數(shù)據(jù)量不斷增長，可處理、理解和分析的數(shù)據(jù)比例卻不斷下降。

通過各種智能設(shè)備產(chǎn)生了大量的數(shù)據(jù)，PB級別可謂是常態(tài)，一些客戶每天處理的數(shù)據(jù)量都在幾十GB、幾百GB左右，估計國內(nèi)大型互聯(lián)網(wǎng)企業(yè)每天的數(shù)據(jù)量已經(jīng)接近TB級別。

3、Velocity（快速）

大數(shù)據(jù)要求快速處理，因?yàn)橛行?shù)據(jù)存在時效性。比如電商的數(shù)據(jù)，假如今天數(shù)據(jù)的分析結(jié)果要等到明天才能得到，那么將會使電商很難做類似補(bǔ)貨這樣的決策，從而導(dǎo)致這些數(shù)據(jù)失去了分析的意義。

就像我們收集和存儲的數(shù)據(jù)量和種類發(fā)生了變化一樣，生成和需要處理數(shù)據(jù)的速度也在變化。不要將速度的概念限定為與數(shù)據(jù)存儲庫相關(guān)的增長速率，應(yīng)動態(tài)地將此定義應(yīng)用到數(shù)據(jù)——數(shù)據(jù)流動的速度。有效處理大數(shù)據(jù)需要在數(shù)據(jù)變化的過程中對它的數(shù)量和種類執(zhí)行分析，而不只是在它靜止后執(zhí)行分析。

4、Vitality（靈活）

在互聯(lián)網(wǎng)時代，和以往相比，企業(yè)的業(yè)務(wù)需求更新的頻率加快了很多，那么相關(guān)大數(shù)據(jù)的分析和處理模型必須快速地適應(yīng)新的業(yè)務(wù)需求。

5、Complexity（復(fù)雜）

雖然傳統(tǒng)的BI已經(jīng)很復(fù)雜了，但是由于前面4個V的存在，使得針對大數(shù)據(jù)的處理和分析更艱巨，并且過去那套基于關(guān)系型數(shù)據(jù)庫的BI開始有點(diǎn)不合時宜了，同時也需要根據(jù)不同的業(yè)務(wù)場景，采取不同的處理方式和工具。

大數(shù)據(jù)產(chǎn)業(yè)的戰(zhàn)略地位

1、國家級別的戰(zhàn)略產(chǎn)業(yè)

美國政府認(rèn)為數(shù)據(jù)資源是繼陸空海三大資源外的另一種重要的國家戰(zhàn)略資源，已將大數(shù)據(jù)戰(zhàn)略上升到國家層面，從2012年到現(xiàn)在為止提出了諸多促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的宣言和計劃。英國在頂著經(jīng)濟(jì)低迷的巨大壓力下還將大數(shù)據(jù)作為重點(diǎn)發(fā)展的科技領(lǐng)域，2013年投資1.89億英鎊用來加強(qiáng)數(shù)據(jù)采集和分析，以求在數(shù)據(jù)革命中搶占先機(jī)，2016年，英國政府又拿出7300萬英鎊投入大數(shù)據(jù)技術(shù)的開發(fā)。包括：在55個政府?dāng)?shù)據(jù)分析項(xiàng)目中展開大數(shù)據(jù)技術(shù)的應(yīng)用；以高等學(xué)府為依托投資興辦大數(shù)據(jù)研究中心；積極帶動牛津大學(xué)、倫敦大學(xué)等著名高校開設(shè)以大數(shù)據(jù)為核心業(yè)務(wù)的專業(yè)等。同樣日本政府也提出了大力發(fā)展IT業(yè)的發(fā)展計劃，不斷地對信息產(chǎn)業(yè)提出戰(zhàn)略規(guī)劃。世界各國也逐漸意識到大數(shù)據(jù)時代的到來，紛紛建立大數(shù)據(jù)產(chǎn)業(yè)。

2、推動技術(shù)和知識創(chuàng)新模式的變革

大數(shù)據(jù)時代的到來引發(fā)了探索知識模式的改變。大數(shù)據(jù)時代的海量數(shù)據(jù)給科研模式帶來了一種新的發(fā)展方向，存在于事物之間的因果關(guān)系已經(jīng)不再是科研人員進(jìn)行深度研究的必要步驟和關(guān)鍵，現(xiàn)在只需從大數(shù)據(jù)中得出有意義的相互關(guān)系，也許從這些相互關(guān)系中不能準(zhǔn)確知曉事物發(fā)生的原因，但是可以預(yù)測這件事將會發(fā)生，這個價值已經(jīng)足夠大。在企業(yè)界，一些精明的領(lǐng)導(dǎo)者們可以洞察出對大數(shù)據(jù)的應(yīng)用其實(shí)就是為了管理方式的變革。在學(xué)術(shù)界，著名的第四范式的科學(xué)研究階段提出，即在人類經(jīng)歷了經(jīng)驗(yàn)、理論、計算三個科學(xué)研究范式后進(jìn)入第四范式——數(shù)據(jù)探索。

3、推動經(jīng)濟(jì)結(jié)構(gòu)轉(zhuǎn)型

大數(shù)據(jù)產(chǎn)業(yè)的興起加快了產(chǎn)業(yè)升級和經(jīng)濟(jì)結(jié)構(gòu)轉(zhuǎn)型的進(jìn)程。隨著大數(shù)據(jù)時代的到來，部分產(chǎn)業(yè)界已經(jīng)逐漸把重點(diǎn)轉(zhuǎn)向把傳統(tǒng)產(chǎn)業(yè)和大數(shù)據(jù)產(chǎn)業(yè)相結(jié)合的發(fā)展模式。對于傳統(tǒng)工業(yè)，采用大數(shù)據(jù)處理方法進(jìn)行新需求的探索和新材料的研發(fā)，既可降低研發(fā)成本，又能提高新產(chǎn)品研發(fā)的準(zhǔn)確性；對于傳統(tǒng)農(nóng)業(yè)，利用大數(shù)據(jù)處理方法，可以培育新品種。大數(shù)據(jù)將會帶來新一浪潮的生產(chǎn)力增長和消費(fèi)者需求。計算機(jī)行業(yè)也從開始只關(guān)注運(yùn)算速度轉(zhuǎn)移到提高大數(shù)據(jù)的處理分析能力上來，變成真正的信息行業(yè)。大數(shù)據(jù)時代的發(fā)展迫使軟硬件的不斷更新從而能夠推進(jìn)信息行業(yè)不斷發(fā)展，這為信息產(chǎn)業(yè)提供了又一大的發(fā)展機(jī)遇。

大數(shù)據(jù)行業(yè)發(fā)展規(guī)模

工信部印發(fā)《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃2016-2020年》，特別提出加快推進(jìn)大數(shù)據(jù)產(chǎn)業(yè)應(yīng)用能力，到2020年，技術(shù)先進(jìn)、應(yīng)用繁榮、保障有力的大數(shù)據(jù)產(chǎn)業(yè)體系基本形成。

大數(shù)據(jù)相關(guān)產(chǎn)品和服務(wù)業(yè)務(wù)收入突破1萬億元，加快建設(shè)數(shù)據(jù)強(qiáng)國，為實(shí)現(xiàn)制造強(qiáng)國和網(wǎng)絡(luò)強(qiáng)國提供強(qiáng)大的產(chǎn)業(yè)支撐。

2017年我國大數(shù)據(jù)市場規(guī)模為4700億元（大數(shù)據(jù)是新興產(chǎn)業(yè)，統(tǒng)計口徑?jīng)]有標(biāo)準(zhǔn)，市場上對于大數(shù)據(jù)規(guī)模的統(tǒng)計數(shù)據(jù)各有不同，本文大數(shù)據(jù)產(chǎn)業(yè)指以數(shù)據(jù)生產(chǎn)、采集、存儲、加工、分析、服務(wù)為主的相關(guān)經(jīng)濟(jì)活動，包括數(shù)據(jù)資源建設(shè)、大數(shù)據(jù)軟硬件產(chǎn)品的開發(fā)、銷售和租賃活動，以及相關(guān)信息技術(shù)服務(wù)，仍然具有增長空間。

圖1：2015-2017年中國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模

數(shù)據(jù)來源：中研普華產(chǎn)業(yè)研究院

中國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展因素分析

1、有利因素

跟國外相比，國內(nèi)的大數(shù)據(jù)發(fā)展，尤其在面向應(yīng)用及相關(guān)技術(shù)方面，具有獨(dú)特優(yōu)勢。國內(nèi)外在大數(shù)據(jù)應(yīng)用方面的差距已逐漸縮小，甚至在有些應(yīng)用領(lǐng)域，國內(nèi)比國外更靈活、更巧妙，這主要受益于我國人口基數(shù)大，隨著大數(shù)據(jù)越來越深入人們的生活，全社會對數(shù)據(jù)智能化的需求不斷增加，有效激發(fā)了市場活力，帶動相關(guān)大數(shù)據(jù)技術(shù)發(fā)展。從總體來看，美國、英國和歐洲其他國家大數(shù)據(jù)發(fā)展處于相對成熟階段，國內(nèi)大數(shù)據(jù)發(fā)展已趨于成熟。

當(dāng)前，很多大數(shù)據(jù)技術(shù)應(yīng)用已被金融領(lǐng)域所關(guān)注。全球大數(shù)據(jù)發(fā)展得益于對計算機(jī)技術(shù)開源理念的推行，而相比國外，國內(nèi)創(chuàng)造新技術(shù)的周期可能更短、速度更快，尤其需要滿足國內(nèi)龐大人口數(shù)量的廣泛需求，這使國內(nèi)對于大數(shù)據(jù)技術(shù)的能力要求超出國外“標(biāo)準(zhǔn)技術(shù)所達(dá)到的能力范圍，促進(jìn)了國內(nèi)新技術(shù)的發(fā)展。國內(nèi)要進(jìn)一步加強(qiáng)對數(shù)據(jù)應(yīng)用和相關(guān)技術(shù)的梳理，使之成規(guī)模化發(fā)展、成體系化傳承；應(yīng)進(jìn)一步加強(qiáng)與大數(shù)據(jù)相關(guān)的立法、制度和標(biāo)準(zhǔn)化建設(shè)，強(qiáng)化技術(shù)理論研究與傳承，穩(wěn)固大數(shù)據(jù)的根基。

2、不利因素

豐富的數(shù)據(jù)源是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的前提。而我國數(shù)字化的數(shù)據(jù)資源總量遠(yuǎn)遠(yuǎn)低于美歐，每年新增數(shù)據(jù)量僅為美國的7%，歐洲的12%，其中政府和制造業(yè)的數(shù)據(jù)資源積累遠(yuǎn)遠(yuǎn)落后于國外。

就已有有限的數(shù)據(jù)資源來說，還存在標(biāo)準(zhǔn)化、準(zhǔn)確性、完整性低，利用價值不高的情況，這大大降低了數(shù)據(jù)的價值。

同時，我國政府、企業(yè)和行業(yè)信息化系統(tǒng)建設(shè)往往缺少統(tǒng)一規(guī)劃和科學(xué)論證，系統(tǒng)之間缺乏統(tǒng)一的標(biāo)準(zhǔn)，形成了眾多“信息孤島”，而且受行政壟斷和商業(yè)利益所限，數(shù)據(jù)開放程度較低，以鄰為壑、共享難，這給數(shù)據(jù)利用造成極大障礙。制約我國數(shù)據(jù)資源開放和共享的一個重要因素是政策法規(guī)不完善，大數(shù)據(jù)挖掘缺乏相應(yīng)的立法，無法既保證共享又防止濫用。

一方面欠缺推動政府和公共數(shù)據(jù)的政策，另一方面數(shù)據(jù)保護(hù)和隱私保護(hù)方面的制度不完善抑制了開放的積極性。因此，建立一個良性發(fā)展的數(shù)據(jù)共享生態(tài)系統(tǒng)，是我國大數(shù)據(jù)發(fā)展需要邁過去的第一道砍。

我國數(shù)據(jù)處理技術(shù)基礎(chǔ)薄弱，總體上以跟隨為主，難以滿足大數(shù)據(jù)大規(guī)模應(yīng)用的需求。

如果把大數(shù)據(jù)比作石油，那數(shù)據(jù)分析工具就是勘探、鉆井、提煉、加工的技術(shù)。

我國必須掌握大數(shù)據(jù)關(guān)鍵技術(shù)，才能將資源轉(zhuǎn)化為價值。

圖2:2018-2023年中國大數(shù)據(jù)產(chǎn)業(yè)市場規(guī)模預(yù)測

數(shù)據(jù)來源：中研普華產(chǎn)業(yè)研究院

在網(wǎng)絡(luò)，移動設(shè)備，傳感器，社交媒體，交易應(yīng)用程序，日志文件，大數(shù)據(jù)等實(shí)時數(shù)據(jù)泛濫的情況下，發(fā)現(xiàn)了大量垂直市場應(yīng)用程序，從詐騙檢測到科學(xué)研究。無論涉及重大隱私問題或企業(yè)困難的挑戰(zhàn)如何，僅在2017年，大數(shù)據(jù)投資就獲得超過570億美元的增長勢頭。預(yù)計未來三年的投資將以約10％的年增長率進(jìn)行增長。

大數(shù)據(jù)分析所需的基本資源

大數(shù)據(jù)咨詢已成為軟件開發(fā)服務(wù)提供商的可行選擇。無論是營銷還是品牌實(shí)施的新產(chǎn)品，公司都不會輕易作出決定。當(dāng)提到任何重大舉措時，企業(yè)都會尋找他們客戶提供的數(shù)據(jù)，以確保公司正朝著觀眾遵循的方向發(fā)展。

從點(diǎn)擊流數(shù)據(jù)到購物車上的信息，都有大量的材料需要篩選，這就是為什么企業(yè)支付高價值的大數(shù)據(jù)咨詢服務(wù)才能理解這一切。對于新職業(yè)市場的人來說，大數(shù)據(jù)分析是一個不錯的選擇。 當(dāng)然，必須熟悉開始處理數(shù)字所需的技能和工具。

大數(shù)據(jù)分析所需的五個資源如下：

1.完成MATLAB Mastery Bundle

MATLAB或Matrix是一個多范型數(shù)字計算空間和編程語言。用外行人的話來說，它是一種工具，它使得編寫代碼，運(yùn)行腳本以及執(zhí)行數(shù)據(jù)分析和可視化等任務(wù)變得輕松易懂，從而解決復(fù)雜問題，而這些代碼還不那么復(fù)雜。

2. Python Power Code BONUS Bundle

市場上有許多重要的編程語言可供選擇，數(shù)據(jù)分析師使用其日常任務(wù)和職責(zé)中的很多。但是，如果有人要先學(xué)習(xí)，那就是Python。 Python語言被譽(yù)為用戶友好型以及直觀性。此外，它擁有眾多的功能，這使它能夠處理數(shù)據(jù)爭奪。 70小時的培訓(xùn)通過展示如何下載，提取，清理，匯總，分析和可視化數(shù)據(jù)，開始了編程教育。

3.大數(shù)據(jù)和分析主工具包

數(shù)據(jù)分析師和高級分析咨詢?nèi)藛T使用大量的語言和工具來獲取角色，這并不足為奇。這四個模塊集合為數(shù)據(jù)庫添加了四個重要的分析工具，即Minitab，SPSS，SAS和R Studio。

4.使用Tableau Desktop 9 Bundle進(jìn)行數(shù)據(jù)可視化

通過交互式儀表板分析和呈現(xiàn)數(shù)據(jù)以完全挖掘信息的主要工具之一是Tableau 9.這個收集將使您了解Tableau。因此，可以開始創(chuàng)建自己的可視化數(shù)據(jù)。

5.完整介紹R編程包

R的核心是一種統(tǒng)計編程語言，它非常適合挖掘和分析數(shù)據(jù)。但是，它也具有高級圖形和機(jī)器學(xué)習(xí)功能，在數(shù)據(jù)可視化和集成復(fù)雜算法方面提供了一些獨(dú)特的優(yōu)勢。在五門課程和三本電子書中，收集指導(dǎo)通過要點(diǎn)使用R來充分發(fā)揮潛力。

大數(shù)據(jù)優(yōu)勢

大數(shù)據(jù)應(yīng)用程序可讓數(shù)據(jù)科學(xué)家，統(tǒng)計人員和其他分析專業(yè)人員分析越來越多的結(jié)構(gòu)化數(shù)據(jù)以及其他形式的數(shù)據(jù)，而這些數(shù)據(jù)往往不被傳統(tǒng)的商業(yè)情報和分析程序所利用。這涵蓋了非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的組合，例如互聯(lián)網(wǎng)點(diǎn)擊流數(shù)據(jù)，網(wǎng)絡(luò)服務(wù)器日志以及來自客戶電子郵件的文本，機(jī)器數(shù)據(jù)，社交媒體內(nèi)容和通過連接的傳感器到事物互聯(lián)網(wǎng)的呼叫細(xì)節(jié)記錄。

在更大的范圍內(nèi)，數(shù)據(jù)分析技術(shù)迎合數(shù)據(jù)集分析的手段，并最終幫助企業(yè)做出充分知情的決策。商業(yè)智能查詢回答關(guān)于業(yè)務(wù)績效和操作的基本查詢。大數(shù)據(jù)是一種高級分析，涉及復(fù)雜的應(yīng)用程序元素，如預(yù)測模型，統(tǒng)計算法等。

用數(shù)據(jù)咨詢創(chuàng)造新的增長機(jī)會

數(shù)據(jù)分析可以創(chuàng)造大量新的增長機(jī)會。此外，它甚至可能會產(chǎn)生一個新的業(yè)務(wù)類別，例如分析和匯總行業(yè)數(shù)據(jù)的類別。大多數(shù)企業(yè)將處于大量關(guān)于服務(wù)和產(chǎn)品，供應(yīng)商和買家，消費(fèi)者偏好和意圖以及更多信息流的信息中。

各行各業(yè)的企業(yè)都應(yīng)該開始大力創(chuàng)造數(shù)據(jù)功能。除了廣泛的數(shù)據(jù)外，數(shù)據(jù)的高頻率和實(shí)時性也是至關(guān)重要的。通過數(shù)據(jù)分析，實(shí)踐被更廣泛地使用。

今天的大數(shù)據(jù)和分析應(yīng)用市場真是巨大。世界各地的軟件開發(fā)服務(wù)提供商提供了大量的數(shù)據(jù)咨詢工作?，F(xiàn)在，大數(shù)據(jù)體驗(yàn)意味著更有可能從軟件開發(fā)組織獲得有利可圖的工作。市場很大，有一系列的項(xiàng)目，交易，服務(wù)和合作關(guān)系。咨詢服務(wù)可能會有所不同，具體取決于組織的特定要求，以及需要利用數(shù)據(jù)分析和解決方案的功能，這些功能可以簡化業(yè)務(wù)流程。