大數(shù)據(jù)（big data），指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)特征分析

大數(shù)據(jù)，不僅有“大”這個(gè)特點(diǎn)，除此之外，它還有很多其他特色。在這方面，業(yè)界各個(gè)廠(chǎng)商都有自己獨(dú)特的見(jiàn)解，但是總體而言，可以用“4V+1C”來(lái)概括，“4V+1C分別代表了Variety（多樣化）、Volume（海量）、Velocity（快速）、Vitality（靈活）以及Complexity（復(fù)雜）這五個(gè)單詞。

1、Variety（多樣化）

大數(shù)據(jù)一般包括以事務(wù)為代表的結(jié)構(gòu)化數(shù)據(jù)、以網(wǎng)頁(yè)為代表的半結(jié)構(gòu)化數(shù)據(jù)和以視頻和語(yǔ)音信息為代表的非結(jié)構(gòu)化等多類(lèi)數(shù)據(jù)，并且它們的處理和分析方式區(qū)別很大。

與大數(shù)據(jù)現(xiàn)象有關(guān)的數(shù)據(jù)量為嘗試處理它的數(shù)據(jù)中心帶來(lái)了新的挑戰(zhàn)：它多樣的種類(lèi)。隨著傳感器、智能設(shè)備以及社交協(xié)作技術(shù)的激增，企業(yè)中的數(shù)據(jù)也變得更加復(fù)雜，因?yàn)樗粌H包含傳統(tǒng)的關(guān)系型數(shù)據(jù)，還包含來(lái)自網(wǎng)頁(yè)、互聯(lián)網(wǎng)日志文件（包括單擊流數(shù)據(jù)）、搜索索引、社交媒體論壇、電子郵件、文檔、主動(dòng)和被動(dòng)系統(tǒng)的傳感器數(shù)據(jù)等原始、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。簡(jiǎn)言之，種類(lèi)表示所有的數(shù)據(jù)類(lèi)型。

2、Volume（海量）

如今存儲(chǔ)的數(shù)據(jù)數(shù)量正在急劇增長(zhǎng)，毫無(wú)疑問(wèn)我們正深陷在數(shù)據(jù)之中。我們存儲(chǔ)所有事物：環(huán)境數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)、醫(yī)療數(shù)據(jù)、監(jiān)控?cái)?shù)據(jù)等。有關(guān)數(shù)據(jù)量的對(duì)話(huà)已從TB級(jí)別轉(zhuǎn)向PB級(jí)別，并且不可避免地會(huì)轉(zhuǎn)向ZB級(jí)。現(xiàn)在經(jīng)常聽(tīng)到一些企業(yè)使用存儲(chǔ)集群來(lái)保存數(shù)PB的數(shù)據(jù)。隨著可供企業(yè)使用的數(shù)據(jù)量不斷增長(zhǎng)，可處理、理解和分析的數(shù)據(jù)比例卻不斷下降。

通過(guò)各種智能設(shè)備產(chǎn)生了大量的數(shù)據(jù)，PB級(jí)別可謂是常態(tài)，一些客戶(hù)每天處理的數(shù)據(jù)量都在幾十GB、幾百GB左右，估計(jì)國(guó)內(nèi)大型互聯(lián)網(wǎng)企業(yè)每天的數(shù)據(jù)量已經(jīng)接近TB級(jí)別。

3、Velocity（快速）

大數(shù)據(jù)要求快速處理，因?yàn)橛行?shù)據(jù)存在時(shí)效性。比如電商的數(shù)據(jù)，假如今天數(shù)據(jù)的分析結(jié)果要等到明天才能得到，那么將會(huì)使電商很難做類(lèi)似補(bǔ)貨這樣的決策，從而導(dǎo)致這些數(shù)據(jù)失去了分析的意義。

就像我們收集和存儲(chǔ)的數(shù)據(jù)量和種類(lèi)發(fā)生了變化一樣，生成和需要處理數(shù)據(jù)的速度也在變化。不要將速度的概念限定為與數(shù)據(jù)存儲(chǔ)庫(kù)相關(guān)的增長(zhǎng)速率，應(yīng)動(dòng)態(tài)地將此定義應(yīng)用到數(shù)據(jù)——數(shù)據(jù)流動(dòng)的速度。有效處理大數(shù)據(jù)需要在數(shù)據(jù)變化的過(guò)程中對(duì)它的數(shù)量和種類(lèi)執(zhí)行分析，而不只是在它靜止后執(zhí)行分析。

4、Vitality（靈活）

在互聯(lián)網(wǎng)時(shí)代，和以往相比，企業(yè)的業(yè)務(wù)需求更新的頻率加快了很多，那么相關(guān)大數(shù)據(jù)的分析和處理模型必須快速地適應(yīng)新的業(yè)務(wù)需求。

5、Complexity（復(fù)雜）

雖然傳統(tǒng)的BI已經(jīng)很復(fù)雜了，但是由于前面4個(gè)V的存在，使得針對(duì)大數(shù)據(jù)的處理和分析更艱巨，并且過(guò)去那套基于關(guān)系型數(shù)據(jù)庫(kù)的BI開(kāi)始有點(diǎn)不合時(shí)宜了，同時(shí)也需要根據(jù)不同的業(yè)務(wù)場(chǎng)景，采取不同的處理方式和工具。

大數(shù)據(jù)產(chǎn)業(yè)的戰(zhàn)略地位

1、國(guó)家級(jí)別的戰(zhàn)略產(chǎn)業(yè)

美國(guó)政府認(rèn)為數(shù)據(jù)資源是繼陸空海三大資源外的另一種重要的國(guó)家戰(zhàn)略資源，已將大數(shù)據(jù)戰(zhàn)略上升到國(guó)家層面，從2012年到現(xiàn)在為止提出了諸多促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的宣言和計(jì)劃。英國(guó)在頂著經(jīng)濟(jì)低迷的巨大壓力下還將大數(shù)據(jù)作為重點(diǎn)發(fā)展的科技領(lǐng)域，2013年投資1.89億英鎊用來(lái)加強(qiáng)數(shù)據(jù)采集和分析，以求在數(shù)據(jù)革命中搶占先機(jī)，2016年，英國(guó)政府又拿出7300萬(wàn)英鎊投入大數(shù)據(jù)技術(shù)的開(kāi)發(fā)。包括：在55個(gè)政府?dāng)?shù)據(jù)分析項(xiàng)目中展開(kāi)大數(shù)據(jù)技術(shù)的應(yīng)用；以高等學(xué)府為依托投資興辦大數(shù)據(jù)研究中心；積極帶動(dòng)牛津大學(xué)、倫敦大學(xué)等著名高校開(kāi)設(shè)以大數(shù)據(jù)為核心業(yè)務(wù)的專(zhuān)業(yè)等。同樣日本政府也提出了大力發(fā)展IT業(yè)的發(fā)展計(jì)劃，不斷地對(duì)信息產(chǎn)業(yè)提出戰(zhàn)略規(guī)劃。世界各國(guó)也逐漸意識(shí)到大數(shù)據(jù)時(shí)代的到來(lái)，紛紛建立大數(shù)據(jù)產(chǎn)業(yè)。

2、推動(dòng)技術(shù)和知識(shí)創(chuàng)新模式的變革

大數(shù)據(jù)時(shí)代的到來(lái)引發(fā)了探索知識(shí)模式的改變。大數(shù)據(jù)時(shí)代的海量數(shù)據(jù)給科研模式帶來(lái)了一種新的發(fā)展方向，存在于事物之間的因果關(guān)系已經(jīng)不再是科研人員進(jìn)行深度研究的必要步驟和關(guān)鍵，現(xiàn)在只需從大數(shù)據(jù)中得出有意義的相互關(guān)系，也許從這些相互關(guān)系中不能準(zhǔn)確知曉事物發(fā)生的原因，但是可以預(yù)測(cè)這件事將會(huì)發(fā)生，這個(gè)價(jià)值已經(jīng)足夠大。在企業(yè)界，一些精明的領(lǐng)導(dǎo)者們可以洞察出對(duì)大數(shù)據(jù)的應(yīng)用其實(shí)就是為了管理方式的變革。在學(xué)術(shù)界，著名的第四范式的科學(xué)研究階段提出，即在人類(lèi)經(jīng)歷了經(jīng)驗(yàn)、理論、計(jì)算三個(gè)科學(xué)研究范式后進(jìn)入第四范式——數(shù)據(jù)探索。

3、推動(dòng)經(jīng)濟(jì)結(jié)構(gòu)轉(zhuǎn)型

大數(shù)據(jù)產(chǎn)業(yè)的興起加快了產(chǎn)業(yè)升級(jí)和經(jīng)濟(jì)結(jié)構(gòu)轉(zhuǎn)型的進(jìn)程。隨著大數(shù)據(jù)時(shí)代的到來(lái)，部分產(chǎn)業(yè)界已經(jīng)逐漸把重點(diǎn)轉(zhuǎn)向把傳統(tǒng)產(chǎn)業(yè)和大數(shù)據(jù)產(chǎn)業(yè)相結(jié)合的發(fā)展模式。對(duì)于傳統(tǒng)工業(yè)，采用大數(shù)據(jù)處理方法進(jìn)行新需求的探索和新材料的研發(fā)，既可降低研發(fā)成本，又能提高新產(chǎn)品研發(fā)的準(zhǔn)確性；對(duì)于傳統(tǒng)農(nóng)業(yè)，利用大數(shù)據(jù)處理方法，可以培育新品種。大數(shù)據(jù)將會(huì)帶來(lái)新一浪潮的生產(chǎn)力增長(zhǎng)和消費(fèi)者需求。計(jì)算機(jī)行業(yè)也從開(kāi)始只關(guān)注運(yùn)算速度轉(zhuǎn)移到提高大數(shù)據(jù)的處理分析能力上來(lái)，變成真正的信息行業(yè)。大數(shù)據(jù)時(shí)代的發(fā)展迫使軟硬件的不斷更新從而能夠推進(jìn)信息行業(yè)不斷發(fā)展，這為信息產(chǎn)業(yè)提供了又一大的發(fā)展機(jī)遇。

大數(shù)據(jù)行業(yè)發(fā)展規(guī)模

工信部印發(fā)《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃2016-2020年》，特別提出加快推進(jìn)大數(shù)據(jù)產(chǎn)業(yè)應(yīng)用能力，到2020年，技術(shù)先進(jìn)、應(yīng)用繁榮、保障有力的大數(shù)據(jù)產(chǎn)業(yè)體系基本形成。

大數(shù)據(jù)相關(guān)產(chǎn)品和服務(wù)業(yè)務(wù)收入突破1萬(wàn)億元，加快建設(shè)數(shù)據(jù)強(qiáng)國(guó)，為實(shí)現(xiàn)制造強(qiáng)國(guó)和網(wǎng)絡(luò)強(qiáng)國(guó)提供強(qiáng)大的產(chǎn)業(yè)支撐。

2017年我國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模為4700億元（大數(shù)據(jù)是新興產(chǎn)業(yè)，統(tǒng)計(jì)口徑?jīng)]有標(biāo)準(zhǔn)，市場(chǎng)上對(duì)于大數(shù)據(jù)規(guī)模的統(tǒng)計(jì)數(shù)據(jù)各有不同，本文大數(shù)據(jù)產(chǎn)業(yè)指以數(shù)據(jù)生產(chǎn)、采集、存儲(chǔ)、加工、分析、服務(wù)為主的相關(guān)經(jīng)濟(jì)活動(dòng)，包括數(shù)據(jù)資源建設(shè)、大數(shù)據(jù)軟硬件產(chǎn)品的開(kāi)發(fā)、銷(xiāo)售和租賃活動(dòng)，以及相關(guān)信息技術(shù)服務(wù)，仍然具有增長(zhǎng)空間。

圖1：2015-2017年中國(guó)大數(shù)據(jù)產(chǎn)業(yè)規(guī)模

數(shù)據(jù)來(lái)源：中研普華產(chǎn)業(yè)研究院

中國(guó)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展因素分析

1、有利因素

跟國(guó)外相比，國(guó)內(nèi)的大數(shù)據(jù)發(fā)展，尤其在面向應(yīng)用及相關(guān)技術(shù)方面，具有獨(dú)特優(yōu)勢(shì)。國(guó)內(nèi)外在大數(shù)據(jù)應(yīng)用方面的差距已逐漸縮小，甚至在有些應(yīng)用領(lǐng)域，國(guó)內(nèi)比國(guó)外更靈活、更巧妙，這主要受益于我國(guó)人口基數(shù)大，隨著大數(shù)據(jù)越來(lái)越深入人們的生活，全社會(huì)對(duì)數(shù)據(jù)智能化的需求不斷增加，有效激發(fā)了市場(chǎng)活力，帶動(dòng)相關(guān)大數(shù)據(jù)技術(shù)發(fā)展。從總體來(lái)看，美國(guó)、英國(guó)和歐洲其他國(guó)家大數(shù)據(jù)發(fā)展處于相對(duì)成熟階段，國(guó)內(nèi)大數(shù)據(jù)發(fā)展已趨于成熟。

當(dāng)前，很多大數(shù)據(jù)技術(shù)應(yīng)用已被金融領(lǐng)域所關(guān)注。全球大數(shù)據(jù)發(fā)展得益于對(duì)計(jì)算機(jī)技術(shù)開(kāi)源理念的推行，而相比國(guó)外，國(guó)內(nèi)創(chuàng)造新技術(shù)的周期可能更短、速度更快，尤其需要滿(mǎn)足國(guó)內(nèi)龐大人口數(shù)量的廣泛需求，這使國(guó)內(nèi)對(duì)于大數(shù)據(jù)技術(shù)的能力要求超出國(guó)外“標(biāo)準(zhǔn)技術(shù)所達(dá)到的能力范圍，促進(jìn)了國(guó)內(nèi)新技術(shù)的發(fā)展。國(guó)內(nèi)要進(jìn)一步加強(qiáng)對(duì)數(shù)據(jù)應(yīng)用和相關(guān)技術(shù)的梳理，使之成規(guī)?；l(fā)展、成體系化傳承；應(yīng)進(jìn)一步加強(qiáng)與大數(shù)據(jù)相關(guān)的立法、制度和標(biāo)準(zhǔn)化建設(shè)，強(qiáng)化技術(shù)理論研究與傳承，穩(wěn)固大數(shù)據(jù)的根基。

2、不利因素

豐富的數(shù)據(jù)源是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的前提。而我國(guó)數(shù)字化的數(shù)據(jù)資源總量遠(yuǎn)遠(yuǎn)低于美歐，每年新增數(shù)據(jù)量?jī)H為美國(guó)的7%，歐洲的12%，其中政府和制造業(yè)的數(shù)據(jù)資源積累遠(yuǎn)遠(yuǎn)落后于國(guó)外。

就已有有限的數(shù)據(jù)資源來(lái)說(shuō)，還存在標(biāo)準(zhǔn)化、準(zhǔn)確性、完整性低，利用價(jià)值不高的情況，這大大降低了數(shù)據(jù)的價(jià)值。

同時(shí)，我國(guó)政府、企業(yè)和行業(yè)信息化系統(tǒng)建設(shè)往往缺少統(tǒng)一規(guī)劃和科學(xué)論證，系統(tǒng)之間缺乏統(tǒng)一的標(biāo)準(zhǔn)，形成了眾多“信息孤島”，而且受行政壟斷和商業(yè)利益所限，數(shù)據(jù)開(kāi)放程度較低，以鄰為壑、共享難，這給數(shù)據(jù)利用造成極大障礙。制約我國(guó)數(shù)據(jù)資源開(kāi)放和共享的一個(gè)重要因素是政策法規(guī)不完善，大數(shù)據(jù)挖掘缺乏相應(yīng)的立法，無(wú)法既保證共享又防止濫用。

一方面欠缺推動(dòng)政府和公共數(shù)據(jù)的政策，另一方面數(shù)據(jù)保護(hù)和隱私保護(hù)方面的制度不完善抑制了開(kāi)放的積極性。因此，建立一個(gè)良性發(fā)展的數(shù)據(jù)共享生態(tài)系統(tǒng)，是我國(guó)大數(shù)據(jù)發(fā)展需要邁過(guò)去的第一道砍。

我國(guó)數(shù)據(jù)處理技術(shù)基礎(chǔ)薄弱，總體上以跟隨為主，難以滿(mǎn)足大數(shù)據(jù)大規(guī)模應(yīng)用的需求。

如果把大數(shù)據(jù)比作石油，那數(shù)據(jù)分析工具就是勘探、鉆井、提煉、加工的技術(shù)。

我國(guó)必須掌握大數(shù)據(jù)關(guān)鍵技術(shù)，才能將資源轉(zhuǎn)化為價(jià)值。

圖2:2018-2023年中國(guó)大數(shù)據(jù)產(chǎn)業(yè)市場(chǎng)規(guī)模預(yù)測(cè)

數(shù)據(jù)來(lái)源：中研普華產(chǎn)業(yè)研究院