一、何為數(shù)據(jù)分析？

簡單來說，就是對數(shù)據(jù)進行分析，較為專業(yè)的說法是，數(shù)據(jù)分析是指用適當?shù)慕y(tǒng)計分析方法對收集來的大量數(shù)據(jù)進行分析，將它們加以匯總和理解并消化，以求最大化地開發(fā)數(shù)據(jù)的功能，發(fā)揮數(shù)據(jù)的作用。

數(shù)據(jù)分析是為了提取有用信息和形成結論而對數(shù)據(jù)加以詳細研究和概括總結的過程。這里的數(shù)據(jù)也稱觀測值，是通過實驗、測量、觀察、調查等方式獲取的結果，常常以數(shù)量的形式展現(xiàn)出來。

數(shù)據(jù)分析的目的是把隱藏在一大批看似雜亂無章的數(shù)據(jù)背后的信息集中和提煉出來，總結出所研究對象的內在規(guī)律。在實際工作中，數(shù)據(jù)分析能夠幫助管理者進行判斷和決策，以便采取適當策略與行動。例如：企業(yè)的高層希望通過市場分析和研究，把握當前產(chǎn)品的市場動向，從而制定合理的產(chǎn)品研發(fā)和銷售計劃，這就必須依賴數(shù)據(jù)分析才能完成。

在統(tǒng)計學領域，有些學者將數(shù)據(jù)分析劃分為描述性數(shù)據(jù)分析、探索性數(shù)據(jù)分析以及驗證性數(shù)據(jù)分析。

數(shù)據(jù)分析類別

其中，探索性數(shù)據(jù)分析側重于在數(shù)據(jù)中發(fā)現(xiàn)新的特征，而驗證性數(shù)據(jù)分析則側重于驗證已有假設的真?zhèn)巫C明。

從另一個角度看，描述性數(shù)據(jù)分析屬于初級數(shù)據(jù)分析，常見的分析方法有對比分析法、平均分析法、交叉分析法等。而探索性數(shù)據(jù)分析以及驗證性數(shù)據(jù)分析屬于高級數(shù)據(jù)分析，常見的分析方法有相關分析、因子分析、回歸分析等。我們日常學習和工作中涉及到的數(shù)據(jù)分析主要是描述性數(shù)據(jù)分析，也就是大家常用的初級數(shù)據(jù)分析。

二、數(shù)據(jù)分析的作用

1、現(xiàn)狀分析

簡單來說就是告訴你過去發(fā)生了什么。

具體體現(xiàn)在：

第一，告訴你企業(yè)現(xiàn)階段的整體運營情況，通過各個經(jīng)營指標的完成情況來衡量企業(yè)的運營狀態(tài)，以說明企業(yè)整體運營是好了還是壞了，好的程度如何，壞的程度又到哪里。

第二，告訴你企業(yè)各項業(yè)務的構成，讓你了解企業(yè)各項業(yè)務的發(fā)展及變動情況，對企業(yè)運營狀況有更深入的了解。

現(xiàn)狀分析一般通過日常通報來完成，如日報、周報、月報等形式。

2、原因分析

簡單來說就是告訴你某一現(xiàn)狀為什么發(fā)生。經(jīng)過第一階段的現(xiàn)狀分析，我們對企業(yè)的運營情況有了一個基本的了解，但是不知道運營情況具體好在哪里，差在哪里，是什么原因引起的。這時候我們就需要開展原因分析，以進一步確定業(yè)務變動的具體原因。

例如2012奶奶2月運營收入環(huán)比下降5%，是什么原因導致的呢？是各項業(yè)務收入都出現(xiàn)下降，還是個別業(yè)務收入下降引起的？是各個地區(qū)業(yè)務收入都出現(xiàn)下降，還是個別地區(qū)業(yè)務收入下降引起的？這就需要我們開展原因分析，進一步確定收入下降的具體原因，對運營策略做出調整與優(yōu)化。

原因分析一般通過專題分析來完成，根據(jù)企業(yè)運營情況選擇針對某一現(xiàn)狀進行原因分析。

3、預測分析

簡單來說就是告訴你將來會發(fā)生什么。

在了解企業(yè)運營現(xiàn)狀后，有時候還需要對企業(yè)未來發(fā)展趨勢做出預測，為制定企業(yè)運營目標及策略提供有效的參考與決策依據(jù)，以保證企業(yè)的可持續(xù)健康發(fā)展。

預測分析一般通過專題分析來完成，通常在制定企業(yè)季度、年度等計劃時進行，其開展的頻率沒有現(xiàn)狀分析及原因分析高。

數(shù)據(jù)分析的三大作用

（讀書筆記：狄松）

統(tǒng)計學方法在數(shù)據(jù)挖掘中的應用探究

數(shù)據(jù)挖掘就是指從眾多實際應用數(shù)據(jù)中獲取批量大、有噪聲、且隨機性強的數(shù)據(jù)，將潛在的信息與數(shù)據(jù)提取出來，就是從數(shù)據(jù)中挖掘有價值的知識，而大多數(shù)原始數(shù)據(jù)具有一定的結構化特征，比如，關系數(shù)據(jù)庫中的數(shù)據(jù)；也可以通過文本、圖形、圖像等半結構化發(fā)掘有用知識，這些知識可以是數(shù)學的也可以是非數(shù)學形式的；數(shù)據(jù)挖掘能以歸納形式存在，能夠被廣泛應用到信息查詢、信息管理、信息決策控制中，方便數(shù)據(jù)的維護與管理。由此可見，數(shù)據(jù)挖掘是一門交叉性強的學科，加強對其的研究非常有意義，下面將對統(tǒng)計方法在數(shù)據(jù)挖掘中的具體應用進行分析。　

　一、數(shù)據(jù)挖掘與統(tǒng)計學的關系　　（一）數(shù)據(jù)挖掘的內涵　　通常來說，數(shù)據(jù)挖掘的定義較為模糊，沒有明確界定，大部分對其的定義只是停留在其背景與觀點的內容上。通過對不同觀點的統(tǒng)一整理，人們最終將其描述為：從大量多樣化的信息中發(fā)現(xiàn)隱晦性、規(guī)律性等潛在信息，并對這些信息進行創(chuàng)造、加工的過程。數(shù)據(jù)挖掘作為一門重要的交叉學科，能夠將數(shù)據(jù)庫、人工智能、機器學習、統(tǒng)計學等眾多的科學融入到一起，從而實現(xiàn)技術與理論的創(chuàng)新與發(fā)展[1]。其中，數(shù)據(jù)庫、人工智能與統(tǒng)計學是數(shù)據(jù)挖掘當中的三大支柱理論。數(shù)據(jù)挖掘的目的是從數(shù)據(jù)庫當中發(fā)掘各種隱含的知識與信息，此過程的方法非常多，有統(tǒng)計學知識、遺傳算法、粗集方法、決策法、模糊邏輯法等，還可以應用向鄰近的可視技術、模式識別技術等，在以上所有技術的支持上能夠使數(shù)據(jù)挖掘更為科學、有序?！　。ǘ?shù)據(jù)挖掘與統(tǒng)計學間的關系　　通常來說，統(tǒng)計學的主要功能是對統(tǒng)計原理與統(tǒng)計方法進行研究的科學。具體來說就是指對數(shù)字資料進行的收集、整理、排序、分析、利用的過程，數(shù)字資料是各種信息的歸納與總結，可以將其作為特性原理的認知、推理方法[2]。而統(tǒng)計學則表示的是使用專業(yè)的統(tǒng)計學、概率理論原理等對各種屬性關系的統(tǒng)計與分析過程，通過分析成功找到屬性間的關聯(lián)與發(fā)展的規(guī)律。在此過程中，統(tǒng)計分析方法是數(shù)據(jù)挖掘最為重要的手段之一。

　　在數(shù)據(jù)挖掘這一課題被提出來之前，統(tǒng)計分析技術對于人們來說更熟悉，也是人們日常開展工作、尋找數(shù)據(jù)間規(guī)律最常使用的收集整理方法。但是不能簡單的將數(shù)據(jù)挖掘作為統(tǒng)計學的延伸與替代工具，而是要將兩者的區(qū)別認識到位，再結合兩者間的不同特點分析其應用特點[3]。大部分的統(tǒng)計學分析技術都是建立在數(shù)學理論與技巧上的，預測通常較為準確，效果能夠讓大部分人滿意。數(shù)據(jù)挖掘能夠充分借鑒并吸收統(tǒng)計學技術，在融入到自身特點以后成為一種數(shù)據(jù)挖掘技術?！　〗y(tǒng)計學與數(shù)據(jù)挖掘存在的目標都是一致的，就是不斷對數(shù)據(jù)結構進行發(fā)掘。鑒于統(tǒng)計學與數(shù)據(jù)挖掘在目標上的一致性，致使很多研究學者與專家將數(shù)據(jù)挖掘作為了統(tǒng)計學的一個分支機構[4]。但是這種認知非常不正確，因為數(shù)據(jù)挖掘不僅體現(xiàn)在與統(tǒng)計學的關系上還體現(xiàn)在思想、工具與方法上，尤其是在計算機科學領域對數(shù)據(jù)挖掘起到的作用非常大。比如，通過借助數(shù)據(jù)庫技術與人工智能的學習，能夠關注到更多統(tǒng)計學與數(shù)據(jù)挖掘上的共通點，但是兩者存在的差異依然非常大。數(shù)據(jù)挖掘就是指對大量的數(shù)據(jù)信息不斷挖掘的過程，DM能夠對數(shù)據(jù)模式內的數(shù)據(jù)關系進行充分挖掘，并對觀測到的數(shù)據(jù)庫處理有著極高的關注度?！　《?、數(shù)據(jù)挖掘的主要過程　　從數(shù)據(jù)本身出發(fā)探討數(shù)據(jù)挖掘過程，數(shù)據(jù)挖掘的過程分為信息的收集、數(shù)據(jù)集成、數(shù)據(jù)處理、數(shù)據(jù)變換、數(shù)據(jù)挖掘實施等過程。

　首先，要將業(yè)務對象確定下來，明確不同業(yè)務定義，并認清數(shù)據(jù)挖掘的目的，這是做好數(shù)據(jù)挖掘最關鍵的一步，也是最重要的一步，雖然挖掘的結果不能被準確預測到，但卻需要對問題的可預見性進行探索[5]。其次，還要做好數(shù)據(jù)準備工作，包含數(shù)據(jù)清理、數(shù)據(jù)變換等工作，數(shù)據(jù)清理的實際意義是將噪聲與空缺值補全，針對這一問題，可以使用平滑技術，而空缺值的處理則是屬性中最常見的，可以將統(tǒng)計中最可能出現(xiàn)的值作為一個空缺值[6]?！　⌒畔⑹占傅氖前凑仗囟ǖ臄?shù)據(jù)分析對象，可以將分析中需要的特征信息抽象出來，并在此基礎上選擇出較為科學、適合的信息收集方法，將全部的信息全部錄入到特定的數(shù)據(jù)庫中。如果數(shù)據(jù)量較大，則可以選擇一個專門的管理數(shù)據(jù)的倉庫，實現(xiàn)對信息的有效保護與管理；數(shù)據(jù)集成就是指將來源不同、格式不同、性質不同、特點不同的數(shù)據(jù)集成到一起，進而為企業(yè)提供更為全面、系統(tǒng)的數(shù)據(jù)共享平臺；數(shù)據(jù)變換就是通過聚集、概化、規(guī)范化等方式對數(shù)據(jù)進行挖掘，對于一些實用數(shù)據(jù)，則可以通過分層與分離方式實現(xiàn)對數(shù)據(jù)的轉換；數(shù)據(jù)挖掘就是結合數(shù)據(jù)倉庫中的數(shù)據(jù)信息點，并選擇正確的分析方法實現(xiàn)對有價值數(shù)據(jù)的挖掘，事例推理、規(guī)則推理、遺傳算法等都是應用較多的方法[7]?！　∪?、統(tǒng)計學方法中的聚類分析　　在統(tǒng)計學聚類方法基礎上能夠構建出潛在的概率分布假設，可以使用試圖優(yōu)化的方法構建數(shù)據(jù)與統(tǒng)計模型的擬合效果。基于統(tǒng)計學聚類方法當中，Cobweb方法是在1987年由Fisher提出的，能夠以分類樹作為層次聚類創(chuàng)建的方法，在分類樹上，每一個節(jié)點都能代表著一個概念，該方法就是對節(jié)點概率描述的過程。Cobweb方法還使用了啟發(fā)式估算方式，使用分類效用對分類樹的構建進行指導，從而實現(xiàn)對最高分類的劃分目的，能夠將不同分類對象全部歸類到一個類別中，并依據(jù)這些內容創(chuàng)建出一個新的類別。但是這種方法也存在一定局限性，局限性在于假設的屬性概率分布都是獨立的，并不能始終處于成立狀態(tài)中。

普遍的定義認為，統(tǒng)計學是關于數(shù)據(jù)的科學，研究如何收集數(shù)據(jù)，并科學地推斷總體特征。大數(shù)據(jù)和統(tǒng)計學還是存在一定區(qū)別的，其一是數(shù)據(jù)分析時不再進行抽樣，而是采用population（n=all）；其二是分析方法，側重所有變量之間的相關性，而不再根據(jù)背景學科理論篩選變量，進行假設檢驗。

現(xiàn)在社會上有一種流行的說法，認為在大數(shù)據(jù)時代，“樣本=全體”，人們得到的不是抽樣數(shù)據(jù)而是全數(shù)據(jù)，因而只需要簡單地數(shù)一數(shù)就可以下結論了，復雜的統(tǒng)計學方法可以不再需要了。

普查和抽樣調查是傳統(tǒng)的兩大數(shù)據(jù)收集方法。普查不需要統(tǒng)計學方法進行推斷估計，因為通過普查，已經(jīng)取得了所有個體數(shù)據(jù)和總體的實際分布，這也是為什么人類開始懂得計數(shù)就開始進行普查。抽樣調查是利用抽樣理論解決如何科學設計樣本，取得樣本個體數(shù)據(jù)，并科學地推斷總體分布及特征。無論是普查還是抽樣調查，其核心問題之一是要取得準確的“個體數(shù)據(jù)”。但在大數(shù)據(jù)時代，一切皆可量化，一切皆可記錄，如何利用更全面、更及時、更經(jīng)濟的網(wǎng)絡電子化數(shù)據(jù)，以及通過對這些數(shù)據(jù)使用新的分析及挖掘技術，產(chǎn)生新的見解和認識，是我們面臨的重大機遇。

大數(shù)據(jù)的應用可以說是在減少人類處理數(shù)據(jù)時帶入的主觀假設的影響，而完全依靠數(shù)據(jù)間的相關性來闡述。而由于消除人為因素帶入的誤差，已經(jīng)分析人員作出假設的限制（如果教育背景和保險購買額是相關的，而分析人員沒想到，那這個結論就不會被分析出來，這在實際案例中是很容易發(fā)生的，大數(shù)據(jù)的核心也就在于它能更充分的發(fā)掘數(shù)據(jù)的全部真實含義。

在大數(shù)據(jù)時代，數(shù)據(jù)分析的很多根本性問題和小數(shù)據(jù)時代并沒有本質區(qū)別。當然，大數(shù)據(jù)的特點，確實對數(shù)據(jù)分析提出了全新挑戰(zhàn)。例如，許多傳統(tǒng)統(tǒng)計方法應用到大數(shù)據(jù)上，巨大計算量和存儲量往往使其難以承受；對結構復雜、來源多樣的數(shù)據(jù)，如何建立有效的統(tǒng)計學模型也需要新的探索和嘗試。對于新時代的數(shù)據(jù)科學而言，這些挑戰(zhàn)也同時意味著巨大的機遇，有可能會產(chǎn)生新的思想、方法和技術。

西線學院培訓機構提供良好的教學環(huán)境，良好的師資以及行業(yè)資源，使得西線學院教學永遠都是跟隨行業(yè)進步的步伐。說了這么多，其實就是想讓你更加了解大數(shù)據(jù)。如此優(yōu)秀的資源和別人望眼欲穿的實習機會，再不行動就要被后來居上的技術人員拍死在沙灘上了。