最近工作比較忙，也忙著優(yōu)化數(shù)據(jù)，來不及發(fā)文章，很抱歉。

另一方面，這里的限制太多，嚴(yán)重打擊積極性，呵呵~~

上期改變大底方法后，有效果，但沒有發(fā)，今期補(bǔ)上，試試效果。

上期發(fā)到云空間的測試數(shù)據(jù)，數(shù)據(jù)是蠻好的，可惜最終排序不好，成績一般。

已經(jīng)想到提高前面幾碼直接命中的辦法了，

希望能高20%，最終是否有效，還是要經(jīng)過驗證才能確定。

今期加入了5-6膽的驗證技術(shù)，復(fù)雜了很多，要十個小時左右才計算完，

如果有效果，以后只挑選前面比較高分的1/3數(shù)據(jù)來計算，才能趕得及，

已經(jīng)上傳到云空間了，歡迎大家一起進(jìn)行驗證。

最后是上傳數(shù)據(jù)的部分截圖，是5膽拖5碼的數(shù)據(jù)，這樣比較節(jié)省，有效果也可以考慮5膽拖28碼的方式。

前面部分，已經(jīng)送個朋友做測試了。

祝大家好運氣！

大數(shù)據(jù)分析之描述型分析：發(fā)生了什么——這是最常見的分析方法。在業(yè)務(wù)中，這種方法向大數(shù)據(jù)分析師提供了重要指標(biāo)和業(yè)務(wù)的衡量方法。例如每月的營收和損失賬單。大數(shù)據(jù)分析師可以通過這些賬單，獲取大量的客戶大數(shù)據(jù)。了解客戶的地理信息，就是“描述型分析”方法之一。利用可視化工具，能夠有效的增強(qiáng)描述型分析所提供的信息。

大數(shù)據(jù)分析之診斷型分析：為什么會發(fā)生——描述性大數(shù)據(jù)分析的下一步就是診斷型大數(shù)據(jù)分析。通過評估描述型大數(shù)據(jù)，診斷分析工具能夠讓大數(shù)據(jù)分析師深入地分析大數(shù)據(jù)，鉆取到大數(shù)據(jù)的核心。良好設(shè)計的數(shù)據(jù)分析能夠整合：按照時間序列進(jìn)行大數(shù)據(jù)讀入、特征過濾和鉆取大數(shù)據(jù)等功能，以便更好的分析大數(shù)據(jù)。

大數(shù)據(jù)分析之預(yù)測型分析：可能發(fā)生什么——預(yù)測型分析主要用于進(jìn)行預(yù)測。事件未來發(fā)生的可能性、預(yù)測一個可量化的值，或者是預(yù)估事情發(fā)生的時間點，這些都可以通過預(yù)測模型來完成。預(yù)測模型通常會使用各種可變大數(shù)據(jù)來實現(xiàn)預(yù)測。大數(shù)據(jù)成員的多樣化與預(yù)測結(jié)果密切相關(guān)。在充滿不確定性的環(huán)境下，預(yù)測能夠幫助做出更好的決定。預(yù)測模型也是很多領(lǐng)域正在使用的重要方法。

大數(shù)據(jù)分析之指令型分析：需要做什么——大數(shù)據(jù)價值和復(fù)雜度分析的下一步就是指令型分析。指令模型基于對“發(fā)生了什么”、“為什么會發(fā)生”和“可能發(fā)生什么”的分析，來幫助用戶決定應(yīng)該采取什么措施。通常情況下，指令型分析不是單獨使用的方法，而是前面的所有方法都完成之后，最后需要完成的分析方法。例如交通規(guī)劃分析考量了每條路線的距離、每條線路的行駛速度、以及目前的交通管制等方面因素，來幫助選擇最好的回家路線。

在諸業(yè)求創(chuàng)新的當(dāng)下，通過技術(shù)手段顛覆傳統(tǒng)，實現(xiàn)更多元化的業(yè)態(tài)創(chuàng)新是人所共求的期望。而今，大數(shù)據(jù)技術(shù)已能夠運用到生活的更多層面，其中也包括發(fā)現(xiàn)新的市場機(jī)會。以下比利時聯(lián)合銀行的例子很值得剖析。

對銀行來說，找到那些需要資金支持的企業(yè)很重要，但是該怎么找到它們呢？比利時聯(lián)合銀行建立了一個“智能”社區(qū)平臺，然后邀請本地居民在這個平臺上寫上自己家的郵政編碼，說明自己感覺生活中有哪些地方不方便，周圍缺少哪些行業(yè)。然后比利時聯(lián)合銀行就會將這些信息收集起來，通過數(shù)據(jù)分析之后，他們會告訴那些想創(chuàng)業(yè)的創(chuàng)業(yè)者，哪里的居民最缺什么服務(wù)，應(yīng)該在哪里建公司。同時，銀行還會在網(wǎng)站上公布那些設(shè)想中企業(yè)的詳細(xì)情況，而本地居民對這些設(shè)想回應(yīng)得也非?？?。

那么，這種方式效果怎么樣呢？書里說，幾乎在突然之間，比利時所有的報紙、電視臺和廣播電臺都在說，比利時的社區(qū)商店實在太少了。通過這個“智能”平臺，超過17萬個商業(yè)機(jī)會得到居民的確認(rèn)，平均每個村莊或城鎮(zhèn)就有500多個。同時還有近1500個新的商業(yè)點子出現(xiàn)，而這個地區(qū)的居民不過才700萬。現(xiàn)在，對那些想創(chuàng)業(yè)的人來說，這個網(wǎng)站已經(jīng)成了特別有價值的數(shù)據(jù)庫和交流論壇。書里也預(yù)測說，未來的創(chuàng)新一定會越來越依賴數(shù)據(jù)驅(qū)動。

如果說上一案例說明大數(shù)據(jù)技術(shù)對傳統(tǒng)業(yè)態(tài)的變革在于開辟新的細(xì)分領(lǐng)域，那么對于新科技的代表人工智能而言，大數(shù)據(jù)同樣是其發(fā)展的重要基建之一?！皠?chuàng)新工場”李開復(fù)就曾公開表示，要想發(fā)展人工智能，必須擁有完備的大數(shù)據(jù)條件：第一是海量的大數(shù)據(jù)，至少是千萬級別以上的數(shù)據(jù)；第二是這些數(shù)據(jù)需要標(biāo)注，這里的標(biāo)注指的是數(shù)據(jù)背后投射的意義，比如人們的出行習(xí)慣是滴滴數(shù)據(jù)的標(biāo)注，飲食習(xí)慣是美團(tuán)數(shù)據(jù)的標(biāo)注。由此可見，大數(shù)據(jù)對于新技術(shù)發(fā)展的意義舉足輕重。

大數(shù)據(jù)處理信息服務(wù)商金盛網(wǎng)聚WJFabric認(rèn)為，毋容置疑的是，人工智能作為一門新興的技術(shù)，即將迎來其快速發(fā)展的窗口期。在這個背景下，今天人工智能要通過顛覆式創(chuàng)新改變世界需要有三個要素：第一是要有核心技術(shù)，能否具備推理學(xué)習(xí)的能力；第二要有行業(yè)大數(shù)據(jù)，而且數(shù)據(jù)要不斷迭代。沒有大數(shù)據(jù)是很難的事情，就像一個很聰明的小孩，如果沒學(xué)過專業(yè)知識，肯定成不了專家；第三是應(yīng)用，今年人工智能不再講概念了，而是要應(yīng)用落地，這才是硬道理。由此可見，作為重要基建之一的大數(shù)據(jù)，在實現(xiàn)人工智能全面發(fā)展的進(jìn)程中所起到的重要作用不言而喻。

一般的大數(shù)據(jù)平臺從平臺搭建到數(shù)據(jù)分析大概包括以下幾個步驟：

1、Linux系統(tǒng)安裝

一般使用開源版的Redhat系統(tǒng)--CentOS作為底層平臺。為了提供穩(wěn)定的硬件基礎(chǔ)，在給硬盤做RAID和掛載數(shù)據(jù)存儲節(jié)點的時，需要按情況配置。比如，可以選擇給HDFS的namenode做RAID2以提高其穩(wěn)定性，將數(shù)據(jù)存儲與操作系統(tǒng)分別放置在不同硬盤上，以確保操作系統(tǒng)的正常運行。

2、分布式計算平臺/組件安裝

當(dāng)前分布式系統(tǒng)的大多使用的是Hadoop系列開源系統(tǒng)。Hadoop的核心是HDFS，一個分布式的文件系統(tǒng)。在其基礎(chǔ)上常用的組件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。

使用開源組件的優(yōu)點：1）使用者眾多，很多bug可以在網(wǎng)上找的答案（這往往是開發(fā)中最耗時的地方）；2）開源組件一般免費，學(xué)習(xí)和維護(hù)相對方便；3）開源組件一般會持續(xù)更新；4）因為代碼開源，如果出現(xiàn)bug可自由對源碼作修改維護(hù)。

常用的分布式數(shù)據(jù)數(shù)據(jù)倉庫有Hive、Hbase。Hive可以用SQL查詢，Hbase可以快速讀取行。外部數(shù)據(jù)庫導(dǎo)入導(dǎo)出需要用到Sqoop。Sqoop將數(shù)據(jù)從Oracle、MySQL等傳統(tǒng)數(shù)據(jù)庫導(dǎo)入Hive或Hbase。Zookeeper是提供數(shù)據(jù)同步服務(wù)， Impala是對hive的一個補(bǔ)充，可以實現(xiàn)高效的SQL查詢

3、數(shù)據(jù)導(dǎo)入

前面提到，數(shù)據(jù)導(dǎo)入的工具是Sqoop。它可以將數(shù)據(jù)從文件或者傳統(tǒng)數(shù)據(jù)庫導(dǎo)入到分布式平臺。

4、數(shù)據(jù)分析

數(shù)據(jù)分析一般包括兩個階段：數(shù)據(jù)預(yù)處理和數(shù)據(jù)建模分析。

數(shù)據(jù)預(yù)處理是為后面的建模分析做準(zhǔn)備，主要工作時從海量數(shù)據(jù)中提取可用特征，建立大寬表。這個過程可能會用到Hive SQL，Spark QL和Impala。

數(shù)據(jù)建模分析是針對預(yù)處理提取的特征/數(shù)據(jù)建模，得到想要的結(jié)果。如前面所提到的，這一塊最好用的是Spark。常用的機(jī)器學(xué)習(xí)算法，如樸素貝葉斯、邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、TFIDF、協(xié)同過濾等，都已經(jīng)在ML lib里面，調(diào)用比較方便。

5、結(jié)果可視化及輸出API

可視化一般式對結(jié)果或部分原始數(shù)據(jù)做展示。一般有兩種情況，行數(shù)據(jù)展示，和列查找展示。

以上就簡單介紹這么多，如果有小伙伴想了解和學(xué)習(xí)更多的大數(shù)據(jù)技術(shù)，可以私信小編索要資料