hadoop是大數(shù)據(jù)的總稱，在系統(tǒng)學(xué)習(xí)大數(shù)據(jù)以前，我們要學(xué)會(huì)對(duì)性能進(jìn)行調(diào)優(yōu)。前面已經(jīng)介紹對(duì)硬件選擇和操作系統(tǒng)的調(diào)優(yōu)，接下來繼續(xù)介紹hadoop參數(shù)及hive的調(diào)優(yōu)。

調(diào)優(yōu)之Hadoop參數(shù)調(diào)優(yōu)

傳統(tǒng)MapReduce和yarn對(duì)比

如果服務(wù)器物理內(nèi)存128G，則容器內(nèi)存建議為100比較合理

配置總量時(shí)考慮系統(tǒng)調(diào)優(yōu)塊，雙路四核2*4*2=16g，則總量設(shè)置為10到12比較合適，需要預(yù)留空間給其他服務(wù)器

需要給master分配足夠資源，并且分配受限于yarn

調(diào)優(yōu)之Hive調(diào)優(yōu)

表1表2的join和表3表4的join同時(shí)運(yùn)行

此法需要關(guān)注是否有數(shù)據(jù)傾斜（大量數(shù)據(jù)集中在某一區(qū)間段）

總而言之，調(diào)優(yōu)要根據(jù)平日工作或使用情況進(jìn)行調(diào)整，套路并非固定，多嘗試就能找到適合自己使用的性能。

零基礎(chǔ)學(xué)習(xí)大數(shù)據(jù)難嗎？達(dá)內(nèi)大數(shù)據(jù)培訓(xùn)好不好?只有自己親身感受了才有資格來評(píng)價(jià)吧。作為來達(dá)內(nèi)求學(xué)大數(shù)據(jù)的眾多學(xué)生中的一個(gè)，對(duì)達(dá)內(nèi)的大數(shù)據(jù)培訓(xùn)深有感觸。

我來到達(dá)內(nèi)教育參加大數(shù)據(jù)培訓(xùn)已經(jīng)兩個(gè)多月了。每日充實(shí)的生活，充實(shí)的學(xué)習(xí)讓我飛速成長。從大學(xué)畢業(yè)后零基礎(chǔ)來到達(dá)內(nèi)教育參加大數(shù)據(jù)培訓(xùn)，每日往返于教室、食堂、宿舍，如果真要說出自己的一點(diǎn)感受的話，感覺自己不再像從前那般虛度光陰了。

我相信來到達(dá)內(nèi)教育參加大數(shù)據(jù)培訓(xùn)是我二十幾年來做的一個(gè)很正確的一個(gè)決定。從前的我很頹廢，現(xiàn)在的我知道珍惜;從前的我對(duì)學(xué)習(xí)不上心，現(xiàn)在的我能夠堅(jiān)持主動(dòng)學(xué)習(xí)。說實(shí)話，我非常喜歡我的這種轉(zhuǎn)變。而且達(dá)內(nèi)教育的老師和同學(xué)們都特別友善，我一有不懂的問題都會(huì)問他們。他們都會(huì)非常耐心的跟我講解，所以非常感謝你們!

其實(shí)從一開始進(jìn)入達(dá)內(nèi)大數(shù)據(jù)零基礎(chǔ)培訓(xùn)班我就知道未來的路不好走，我不僅是零基礎(chǔ)，連電腦基礎(chǔ)知識(shí)我都不太了解。但是我知道勤能補(bǔ)拙!近期，隨著學(xué)習(xí)難度逐漸加深，每天腦子里都要接受很多新知識(shí)，課后老師還會(huì)布置很多作業(yè)。那時(shí)候的我確實(shí)心理壓力有點(diǎn)大，但是我知道來到達(dá)內(nèi)教育就是為了改變自己!所以咬咬牙繼續(xù)堅(jiān)持下去!

現(xiàn)在的我滿腦子都是大數(shù)據(jù)的專業(yè)知識(shí)，想要好好把握在達(dá)內(nèi)教育末后的學(xué)習(xí)時(shí)間。來到達(dá)內(nèi)教育這段時(shí)間，我不僅學(xué)到了受用的知識(shí)技能，更是提升了自己，所以很感謝達(dá)內(nèi)教育這個(gè)平臺(tái)。

最后想跟大家分享一句話：自己選的路就算跪著也要走完。自己選擇的道路，即使十分困難，也要堅(jiān)持下去!達(dá)內(nèi)大數(shù)據(jù)培訓(xùn)很專業(yè)，也很靠譜，是一個(gè)值得讓我們付出時(shí)間來學(xué)習(xí)的優(yōu)質(zhì)平臺(tái)!

講一下hadoop的一些知識(shí)，對(duì)于初學(xué)者來說是個(gè)不錯(cuò)的參考，另外想要進(jìn)入大數(shù)據(jù)圈子但是有困難有疑問的朋友，可以咨詢魔據(jù)教育大數(shù)據(jù)。

關(guān)于入門：如果看書看的一頭霧水的話，先從實(shí)際例子出發(fā)會(huì)比較容易上手。WordCount和Weather Data這種“Hello World”的例子網(wǎng)上有很多，可以復(fù)制下來自己跑一遍，基本上就知道Hadoop是個(gè)什么東西，能用來干什么了。跑這些例子都不需要一個(gè)完整的Hadoop集群，自己本地的VM上就可以完成。之所以認(rèn)為這是比較好的方式，是因?yàn)镠adoop是一個(gè)工具，而不是一門學(xué)科。工具的一般用法是你有一個(gè)實(shí)際的問題需要解決（求和，求平均值之類的問題都可以，兩三行數(shù)據(jù)，不需要“大數(shù)據(jù)”），然后把這個(gè)工具運(yùn)用到你的問題里面，能夠使用工具之后再開始研究怎么更好的更有效的使用這個(gè)工具。

關(guān)于進(jìn)階：知道是什么，能干什么之后，需要知道為什么。這很重要，這關(guān)系到你的任務(wù)是跑三個(gè)小時(shí)還是要跑三天，是需要三臺(tái)服務(wù)器還是需要三十臺(tái)服務(wù)器，就直接關(guān)系到最后要花三十還是花三百。進(jìn)階之前需要一點(diǎn)準(zhǔn)備工作：Linux －（這對(duì)于所有Distributed System都非常重要），Java（能看得懂代碼就可以了），Maven（能用就可以），Scala（optional，可以邊學(xué)邊用），SBT（optional，可以照著tutorial用），進(jìn)階就需要看書，前面有很多位同學(xué)推薦了各種書各種博客，都應(yīng)該不錯(cuò)。推薦兩個(gè)Hadoop The Definitive Guide最新版，寫的非常好。強(qiáng)烈建議看英文版的，否則容易交流障礙……這本書的例子都在github上可以下載下來，都跑一跑。 Cloudera的tutorial，user guide，blog和best practice。這個(gè)比較官方和實(shí)效性。

關(guān)于深入：關(guān)于怎么深入學(xué)習(xí)Hadoop技術(shù)， Hadoop分為兩個(gè)大塊：HDFS和MapReduce。 HDFS － Hadoop Distributed FileSystem。這個(gè)概念很好，但是其實(shí)我不覺得很實(shí)用。但是如果你之后要往Non SQL方面深入的話這個(gè)還是很重要，HDFS是HBASE的基礎(chǔ)，Hbase又可以延伸到Big Table，DynamoDB，Mango等。

Spark要單獨(dú)提出來講一講，Spark其實(shí)不是Hadoop上面的應(yīng)用，它也可以使用除了YARN之外的其他資源分配系統(tǒng)。但是Spark使用的人很多，很多任務(wù)用Spark比用Hadoop MR要快一些，Spark也比其他的應(yīng)用要復(fù)雜一點(diǎn)。如果有興趣還是可以從Hadoop The Definitive Guide開始，然后邊做實(shí)際的例子邊學(xué)習(xí)。

關(guān)于Hadoop的使用方式：感覺現(xiàn)在各個(gè)公司使用Hadoop的方式都不一樣，主要我覺得有兩種吧。第一種是long running cluster形式，比如Yahoo，不要小看這個(gè)好像已經(jīng)沒什么存在感的公司，Yahoo可是Hadoop的元老之一。這種就是建立一個(gè)Data Center，然后有幾個(gè)上千Node的Hadoop Cluster一直在運(yùn)行。

零基礎(chǔ)學(xué)習(xí)大數(shù)據(jù)難嗎？達(dá)內(nèi)大數(shù)據(jù)培訓(xùn)好不好?只有自己親身感受了才有資格來評(píng)價(jià)吧。作為來達(dá)內(nèi)求學(xué)大數(shù)據(jù)的眾多學(xué)生中的一個(gè)，對(duì)達(dá)內(nèi)的大數(shù)據(jù)培訓(xùn)深有感觸。

我來到達(dá)內(nèi)教育參加大數(shù)據(jù)培訓(xùn)已經(jīng)兩個(gè)多月了。每日充實(shí)的生活，充實(shí)的學(xué)習(xí)讓我飛速成長。從大學(xué)畢業(yè)后零基礎(chǔ)來到達(dá)內(nèi)教育參加大數(shù)據(jù)培訓(xùn)，每日往返于教室、食堂、宿舍，如果真要說出自己的一點(diǎn)感受的話，感覺自己不再像從前那般虛度光陰了。

我相信來到達(dá)內(nèi)教育參加大數(shù)據(jù)培訓(xùn)是我二十幾年來做的一個(gè)很正確的一個(gè)決定。從前的我很頹廢，現(xiàn)在的我知道珍惜;從前的我對(duì)學(xué)習(xí)不上心，現(xiàn)在的我能夠堅(jiān)持主動(dòng)學(xué)習(xí)。說實(shí)話，我非常喜歡我的這種轉(zhuǎn)變。而且達(dá)內(nèi)教育的老師和同學(xué)們都特別友善，我一有不懂的問題都會(huì)問他們。他們都會(huì)非常耐心的跟我講解，所以非常感謝你們!

其實(shí)從一開始進(jìn)入達(dá)內(nèi)大數(shù)據(jù)零基礎(chǔ)培訓(xùn)班我就知道未來的路不好走，我不僅是零基礎(chǔ)，連電腦基礎(chǔ)知識(shí)我都不太了解。但是我知道勤能補(bǔ)拙!近期，隨著學(xué)習(xí)難度逐漸加深，每天腦子里都要接受很多新知識(shí)，課后老師還會(huì)布置很多作業(yè)。那時(shí)候的我確實(shí)心理壓力有點(diǎn)大，但是我知道來到達(dá)內(nèi)教育就是為了改變自己!所以咬咬牙繼續(xù)堅(jiān)持下去!

現(xiàn)在的我滿腦子都是大數(shù)據(jù)的專業(yè)知識(shí)，想要好好把握在達(dá)內(nèi)教育末后的學(xué)習(xí)時(shí)間。來到達(dá)內(nèi)教育這段時(shí)間，我不僅學(xué)到了受用的知識(shí)技能，更是提升了自己，所以很感謝達(dá)內(nèi)教育這個(gè)平臺(tái)。

最后想跟大家分享一句話：自己選的路就算跪著也要走完。自己選擇的道路，即使十分困難，也要堅(jiān)持下去!達(dá)內(nèi)大數(shù)據(jù)培訓(xùn)很專業(yè)，也很靠譜，是一個(gè)值得讓我們付出時(shí)間來學(xué)習(xí)的優(yōu)質(zhì)平臺(tái)!