寫數(shù)據(jù)流程

1. 客戶端向NN請求寫數(shù)據(jù)：hadoop fs -put /home/qf.log /data/qf/

2. NN檢查目錄/data/qf/是否存在

3. NN發(fā)現(xiàn)目錄存在同意客戶端寫數(shù)據(jù)

4. 客戶端告訴NN要上傳第一個塊

5. NN查詢dn池信息

6. NN返回給客戶端存儲塊文件的DN列表.namenode會根據(jù)客戶端的配置來查詢datanode信息，如果使用默認(rèn)配置，那么最終結(jié)果會返回同一個機(jī)架的兩個datanode和另一個機(jī)架的datanode。這稱為“機(jī)架感知”策略。

7. 客戶端發(fā)出請求建立pipeline

8. 客戶端開始寫數(shù)據(jù)

客戶端在開始傳輸數(shù)據(jù)塊之前會把數(shù)據(jù)緩存在本地，當(dāng)緩存大小超過了一個數(shù)據(jù)塊的大小，會在客戶端和第一個datanode建立連接開始流式的傳輸數(shù)據(jù)，這個datanode會一小部分一小部分(4K)的接收數(shù)據(jù)然后寫入本地倉庫，同時會把這些數(shù)據(jù)傳輸?shù)降诙€datanode，第二個datanode也同樣一小部分一小部分的接收數(shù)據(jù)并寫入本地倉庫，同時傳輸給第三個datanode(在流式復(fù)制時，逐級傳輸和響應(yīng)采用響應(yīng)隊(duì)列來等待傳輸結(jié)果。隊(duì)列響應(yīng)完成后返回給客戶端)，依次類推。這樣逐級調(diào)用和返回之后，待這個數(shù)據(jù)塊傳輸完成客戶端后告訴namenode數(shù)據(jù)塊傳輸完成，這時候namenode才會更新元數(shù)據(jù)信息記錄操作日志。

9. 第一個數(shù)據(jù)塊傳輸完成后會使用同樣的方式傳輸下面的數(shù)據(jù)塊直到整個文件上傳完成。

讀數(shù)據(jù)流程

(1)客戶端向namenode發(fā)起RPC調(diào)用，請求讀取文件數(shù)據(jù)。

(2)namenode檢查文件是否存在，如果存在則獲取文件的元信息(blockid以及對應(yīng)的datanode列表)。

(3)客戶端收到元信息后選取一個網(wǎng)絡(luò)距離最近的datanode，依次請求讀取每個數(shù)據(jù)塊。客戶端首先要校檢文件是否損壞，如果損壞，客戶端會選取另外的datanode請求。

(4)datanode與客戶端建立socket連接，傳輸對應(yīng)的數(shù)據(jù)塊，客戶端收到數(shù)據(jù)緩存到本地，之后寫入文件。

(5)依次傳輸剩下的數(shù)據(jù)塊，直到整個文件合并完成

2018年大數(shù)據(jù)專業(yè)就業(yè)前景

大數(shù)據(jù)人才稀缺

據(jù)數(shù)聯(lián)尋英發(fā)布《大數(shù)據(jù)人才報(bào)告》顯示,目前全國的大數(shù)據(jù)人才僅46萬,未來3-5年內(nèi)大數(shù)據(jù)人才的缺口將高達(dá)150萬。

據(jù)職業(yè)社交平臺LinkedIn發(fā)布的《2016年中國互聯(lián)網(wǎng)最熱職位人才報(bào)告》顯示，研發(fā)工程師、產(chǎn)品經(jīng)理、人力資源、市場營銷、運(yùn)營和數(shù)據(jù)分析是當(dāng)下中國互聯(lián)網(wǎng)行業(yè)需求最旺盛的六類人才職位。其中研發(fā)工程師需求量最大，而數(shù)據(jù)分析人才最為稀缺。領(lǐng)英報(bào)告表明，數(shù)據(jù)分析人才的供給指數(shù)最低，僅為0.05，屬于高度稀缺。數(shù)據(jù)分析人才跳槽速度也最快，平均跳槽速度為19.8個月。

根據(jù)中國商業(yè)聯(lián)合會數(shù)據(jù)分析專業(yè)委員會統(tǒng)計(jì)，未來中國基礎(chǔ)性數(shù)據(jù)分析人才缺口將達(dá)到1400萬，而在BAT企業(yè)招聘的職位里，60%以上都在招大數(shù)據(jù)人才。

大數(shù)據(jù)專業(yè)就業(yè)三大方向

大數(shù)據(jù)主要的三大就業(yè)方向：大數(shù)據(jù)系統(tǒng)研發(fā)類人才、大數(shù)據(jù)應(yīng)用開發(fā)類人才和大數(shù)據(jù)分析類人才。

在此三大方向中，各自的基礎(chǔ)崗位一般為大數(shù)據(jù)系統(tǒng)研發(fā)工程師、大數(shù)據(jù)應(yīng)用開發(fā)工程師和數(shù)據(jù)分析師。

大數(shù)據(jù)專業(yè)人才就業(yè)薪資

1基礎(chǔ)人才：數(shù)據(jù)分析師

北京數(shù)據(jù)分析平均工資： 10630/月，取自 15526 份樣本，較 2016 年，增長 9.4%。

數(shù)據(jù)分析師崗位職責(zé)

業(yè)務(wù)類別:技術(shù)

業(yè)務(wù)方向:數(shù)據(jù)分析

工作職責(zé):

1. 根據(jù)公司產(chǎn)品和業(yè)務(wù)需求，利用數(shù)據(jù)挖掘等工具對多種數(shù)據(jù)源進(jìn)行診斷分析，建設(shè)征信分析模型并優(yōu)化，為公司征信運(yùn)營決策、產(chǎn)品設(shè)計(jì)等方面提供數(shù)據(jù)支持；

2. 負(fù)責(zé)項(xiàng)目的需求調(diào)研、數(shù)據(jù)分析、商業(yè)分析和數(shù)據(jù)挖掘模型等，通過對運(yùn)行數(shù)據(jù)進(jìn)行分析挖掘背后隱含的規(guī)律及對未來的預(yù)測；

3. 參與數(shù)據(jù)挖掘模型的構(gòu)建、維護(hù)、部署和評估；

4. 整理編寫商業(yè)數(shù)據(jù)分析報(bào)告，及時發(fā)現(xiàn)和分析其中變化和問題，為業(yè)務(wù)發(fā)展提供決策支持；

5. 獨(dú)立完成項(xiàng)目需求管理、方案設(shè)計(jì)、實(shí)施管理和項(xiàng)目成果質(zhì)量的把控；

6. 參與編寫項(xiàng)目相關(guān)文檔。

教育背景:

學(xué)歷：本科其它：

經(jīng)驗(yàn)要求:工作經(jīng)驗(yàn)：3-5年

任職要求:

1. 統(tǒng)計(jì)學(xué)、數(shù)學(xué)或計(jì)算機(jī)、數(shù)理統(tǒng)計(jì)或數(shù)據(jù)挖掘?qū)I(yè)方向相關(guān)專業(yè)本科或以上學(xué)歷；有扎實(shí)的數(shù)據(jù)統(tǒng)計(jì)和數(shù)據(jù)挖掘?qū)I(yè)知識；

2. 熟練使用數(shù)理統(tǒng)計(jì)、數(shù)據(jù)分析、數(shù)據(jù)挖掘工具軟件（SAS、R、Python等的一種或多種），能熟練使用SQL讀取數(shù)據(jù)；

3. 使用過 邏輯回歸、神經(jīng)網(wǎng)絡(luò)、決策樹、聚類 等的一種或多種建模方法；

4. 3年以上數(shù)據(jù)分析工作經(jīng)驗(yàn)，征信從業(yè)背景人員優(yōu)先；

5. 具有金融行業(yè)項(xiàng)目經(jīng)驗(yàn)的相關(guān)經(jīng)驗(yàn)者優(yōu)先考慮；

6. 主動性強(qiáng)，有較強(qiáng)的責(zé)任心，積極向上的工作態(tài)度，有團(tuán)隊(duì)協(xié)作精神。

能力素養(yǎng):

良好的分析、歸納和總結(jié)能力，善于分析、解決實(shí)際問題； 主動性強(qiáng)，有較強(qiáng)的責(zé)任心，積極向上的工作態(tài)度，有團(tuán)隊(duì)協(xié)作精神。

2大數(shù)據(jù)開發(fā)工程師

北京大數(shù)據(jù)開發(fā)平均工資： 30230/月。

大數(shù)據(jù)開發(fā)工程師/專家 崗位指責(zé)（引自 滴滴出行）：

職位描述：

1、構(gòu)建分布式大數(shù)據(jù)服務(wù)平臺，參與和構(gòu)建公司包括海量數(shù)據(jù)存儲、離線/實(shí)時計(jì)算、實(shí)時查詢，大數(shù)據(jù)系統(tǒng)運(yùn)維等系統(tǒng)；

2、服務(wù)各種業(yè)務(wù)需求，服務(wù)日益增長的業(yè)務(wù)和數(shù)據(jù)量；

3、深入源碼內(nèi)核改進(jìn)優(yōu)化開源項(xiàng)目，解決各種hadoop、spark、hbase疑難問題，參與到開源社區(qū)建設(shè)和代碼貢獻(xiàn)；

崗位要求：

1、計(jì)算機(jī)或相關(guān)專業(yè)本科以上學(xué)歷（3年以上工作經(jīng)驗(yàn)）；

2、精通C++/Java/Scala程序開發(fā)(至少一種)，熟悉Linux/Unix開發(fā)環(huán)境；

3、熟悉常用開源分布式系統(tǒng)，精通Hadoop/Hive/Spark/Storm/Flink/HBase之一源代碼；

4、有大規(guī)模分布式系統(tǒng)開發(fā)、維護(hù)經(jīng)驗(yàn)，有故障處理能力，源碼級開發(fā)能力；

5、具有良好的溝通協(xié)作能力，具有較強(qiáng)的分享精神；

6、對Kudu、Kylin、Impala、ElasticSearch，github等系統(tǒng)有深入使用和底層研究者加分；

3Hadoop開發(fā)工程師

北京hadoop平均工資： 20130/月，取自 1734 份樣本。

Hadoop開發(fā)工程師崗位職責(zé)（引自新浪網(wǎng)）：

職位描述：

1.參與優(yōu)化改進(jìn)新浪集團(tuán)數(shù)據(jù)平臺基礎(chǔ)服務(wù)，參與日傳輸量超過百TB的數(shù)據(jù)傳輸體系優(yōu)化，日處理量超過PB級別的數(shù)據(jù)處理平臺改進(jìn)，多維實(shí)時查詢分析系統(tǒng)的構(gòu)建優(yōu)化；

2.分布式機(jī)器學(xué)習(xí)算法在數(shù)據(jù)平臺的構(gòu)建與優(yōu)化（包括常見的LR、GBDT、FM、LDA、Word2Vec及DNN等）；

3.深入源碼改進(jìn)各種開源大數(shù)據(jù)項(xiàng)目（包括Hadoop、Spark、Kafka、HBase等）。

任職要求：

1.計(jì)算機(jī)或相關(guān)專業(yè)本科以上學(xué)歷；

2.熟悉Linux環(huán)境下開發(fā)，熟練掌握C++/Java/Scala等一種以上編程語言；

3.熟悉Hadoop生態(tài)系統(tǒng)相關(guān)項(xiàng)目，精通以下項(xiàng)目之一的源碼（Hadoop/Spark/Kafka/HBase/Flume/ElasticSearch/Druid/Kylin）；

4.具備良好的學(xué)習(xí)能力、分析能力和解決問題的能力。

4數(shù)據(jù)挖掘工程師

北京數(shù)據(jù)挖掘平均工資： 21740/月，取自 3449 份樣本，較 2016 年，增長 20.3%；

數(shù)據(jù)挖掘工程師招聘要求（引自螞蟻金服集團(tuán)技術(shù)部）：

工作職責(zé)：

1、在分布式系統(tǒng)上進(jìn)行數(shù)據(jù)計(jì)算、挖掘、和實(shí)現(xiàn)算法；

2、數(shù)據(jù)倉庫模型設(shè)計(jì)和建立；

3、數(shù)據(jù)梳理流程的實(shí)現(xiàn)和維護(hù)；

4、物流場景下的地址文本、空間屬性研究和分析。

任職資格：

1、本科以上學(xué)歷，有扎實(shí)的統(tǒng)計(jì)學(xué)，數(shù)據(jù)挖掘，機(jī)器學(xué)習(xí)，自然語言識別理論基礎(chǔ)，一種或幾種以上的實(shí)際使用經(jīng)驗(yàn)。

2、熟悉聚類、分類、回歸等機(jī)器學(xué)習(xí)算法和實(shí)現(xiàn)，對常見的核心算法和數(shù)據(jù)挖掘方法有透徹的理解和實(shí)際經(jīng)驗(yàn)。

3、深入理解Map-Reduce模型，對Hadoop、Hive、Spark、Storm等大規(guī)模數(shù)據(jù)存儲于運(yùn)算平臺有實(shí)踐經(jīng)驗(yàn)。

4、有扎實(shí)的計(jì)算機(jī)理論基礎(chǔ)，至少熟悉一種編程語言，Java優(yōu)先。

5、有三年以上互聯(lián)網(wǎng)公司或者海量數(shù)據(jù)處理工作經(jīng)驗(yàn)，大數(shù)據(jù)挖掘、分析、建模經(jīng)驗(yàn)

5算法工程師

北京算法工程師平均工資： 22640/月，取自 10176 份樣本。

算法工程師 招聘要求（引自美團(tuán)點(diǎn)評數(shù)據(jù)平臺部）：

職位描述：

互聯(lián)網(wǎng)公司背景優(yōu)先

A、廣告算法

崗位職責(zé)：

1.負(fù)責(zé)點(diǎn)擊率預(yù)估等主要廣告算法的技術(shù)選型；

2.負(fù)責(zé)核心算法的開發(fā)；

3.負(fù)責(zé)廣告大數(shù)據(jù)處理流程的建設(shè)及相關(guān)工具的研發(fā)；

4.負(fù)責(zé)廣告技術(shù)研究項(xiàng)目的推進(jìn)與管理；

職位需求：

1.計(jì)算機(jī)或相關(guān)專業(yè)本科以上學(xué)歷，3年以上相關(guān)工作經(jīng)驗(yàn);

2.熟練掌握一門開發(fā)語言；

3.有機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘相關(guān)知識；

4.在廣告、搜索、推薦等相關(guān)領(lǐng)域之一有技術(shù)研究工作經(jīng)驗(yàn)；

5.有較強(qiáng)的溝通協(xié)調(diào)能力；

B、推薦算法

職位描述：

1. 參與各個產(chǎn)品線的個性化推薦系統(tǒng)的研發(fā)；

2. 分析用戶行為數(shù)據(jù)，并設(shè)計(jì)合理的推薦算法模型及策略，并優(yōu)化推薦排序；

3. 通過對用戶行為數(shù)據(jù)的挖掘，對用戶進(jìn)行建模，精準(zhǔn)刻畫用戶各種屬性；

職位要求：

1. 全日制本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)；

2. 熟練掌握各類個性化推薦算法，并有開發(fā)個性化推薦系統(tǒng)的實(shí)際項(xiàng)目經(jīng)驗(yàn)；熟練掌握各類回歸及排序算法，能夠利用相關(guān)算法進(jìn)行推薦排序的優(yōu)化；

3. 熟練掌握分類、聚類、回歸、降維等經(jīng)典機(jī)器學(xué)習(xí)算法和技術(shù)，能夠根據(jù)實(shí)際問題選擇合適的模型和算法并進(jìn)行相應(yīng)的開發(fā)；

4. 有較強(qiáng)的工程架構(gòu)和開發(fā)能力，能夠?qū)崿F(xiàn)支撐千萬級用戶和TB級用戶行為數(shù)據(jù)的推薦系統(tǒng)或算法；

5. 掌握python、matlab等腳本語言，熟悉各類數(shù)據(jù)挖掘工具（如weka、Mahout），能夠快速建立模型并進(jìn)行驗(yàn)證；

C、算法工程師

崗位職責(zé):

1、開發(fā)和優(yōu)化用戶行為數(shù)據(jù)挖掘，文本分類和語義理解，社交網(wǎng)絡(luò)分析，網(wǎng)頁搜索，推薦系統(tǒng)等領(lǐng)域的特定算法

2、能夠很快學(xué)習(xí)和利用state-of-the-art的算法解決實(shí)際產(chǎn)品問題，提升產(chǎn)品用戶體驗(yàn)

任職資格:

1、有一定的研究、實(shí)驗(yàn)的能力，優(yōu)秀的分析問題和解決問題的能力

2、理解自然語言處理、機(jī)器學(xué)習(xí)、網(wǎng)頁搜索，推薦系統(tǒng)，用戶數(shù)據(jù)分析和建模的基本概念和常用方法，有相關(guān)領(lǐng)域的實(shí)際項(xiàng)目研發(fā)或者實(shí)習(xí)經(jīng)歷者優(yōu)先。

3、熟悉C++, Java或Python，熟悉Linux或類Unix系統(tǒng)開發(fā),有較強(qiáng)的編程能力。 能獨(dú)立實(shí)現(xiàn)線上算法模塊者優(yōu)先。

4、對大數(shù)據(jù)處理平臺和工具有一定經(jīng)驗(yàn)者優(yōu)先, 包括： Hadoop, Hive, Pig, Spark 等

最后一個問題，哪些公司需求大數(shù)據(jù)人才？

答：所有的公司。大到世界500強(qiáng)，BAT這樣的公司，小到創(chuàng)業(yè)公司，他們都需求數(shù)據(jù)人才。

馬云爸爸說“我們已從IT時代進(jìn)入了DT時代，未來我們的汽車、電燈泡、電視機(jī)、電冰箱等將全部裝上操作系統(tǒng)，并進(jìn)行數(shù)據(jù)集成，數(shù)據(jù)將會讓機(jī)器更“聰明”。DT時代，數(shù)據(jù)將成為主要的能源，離開了數(shù)據(jù)，任何組織的創(chuàng)新都基本上是空殼?！?/p>

數(shù)據(jù)，未來的一切。