大數(shù)據(jù)是目前互聯(lián)網(wǎng)流行的技術(shù)語言，處理大數(shù)據(jù)的編程語言比較有優(yōu)勢的也很多，比如java、python、go、R語言、Hadoop等等，按道理來說每種編程語言都可以處理大數(shù)據(jù)，只是處理的規(guī)模不一樣而且，但是現(xiàn)在比較受歡迎的數(shù)據(jù)處理編程語言是java與python。

說到j(luò)ava編程，java工程師一直都是同行的高薪崗位，而python是從最初的2016人工智能開始爆發(fā)，從而在短短兩年之內(nèi)能趕超java。隨著python的發(fā)展，最大贏家無疑是python。未來大數(shù)據(jù)是對于一家企業(yè)有多重要，通過對數(shù)據(jù)的分析，可以了解市場需求、發(fā)展方向，對公司未來的定位，把數(shù)量龐大、不規(guī)整的數(shù)據(jù)信息進(jìn)行梳理，總結(jié)出可供查詢的特征。

自從python熱度趕超java之后，python在大數(shù)據(jù)方面的優(yōu)勢逐漸被人們認(rèn)識，但是java作為20多年成熟的編程語言，在大數(shù)據(jù)處理方面已存在已久，依然是程序員開發(fā)比較喜愛的編程。

java在大數(shù)據(jù)處理方面還是比較傾向軟件應(yīng)用與網(wǎng)站數(shù)據(jù)，包括游戲數(shù)據(jù)處理，特別是金融服務(wù)數(shù)據(jù)處理，一直都是java的強(qiáng)項(xiàng)；python有著眾多免費(fèi)科學(xué)算法庫，優(yōu)勢在人工智能大數(shù)據(jù)處理，當(dāng)然也有使用Python在銀行的基礎(chǔ)架構(gòu)中處理財(cái)務(wù)數(shù)據(jù)?？梢哉fjava與python在大數(shù)據(jù)處理各有優(yōu)勢。

不是每個人都擁有一臺超級計(jì)算機(jī)，那么如何利用一臺普通計(jì)算機(jī)處理大數(shù)據(jù)？當(dāng)數(shù)據(jù)大小超過你計(jì)算機(jī)的內(nèi)存，這時不能一次性把大數(shù)據(jù)寫入內(nèi)存里，否則會產(chǎn)生內(nèi)存溢出。大多數(shù)機(jī)器學(xué)習(xí)算法都是基于內(nèi)存，即原始數(shù)據(jù)以及過程數(shù)據(jù)都保存在內(nèi)存，這給普通計(jì)算機(jī)處理大數(shù)據(jù)造成困難。通過本文的學(xué)習(xí)，你將學(xué)會如何利用普通計(jì)算機(jī)處理大數(shù)據(jù)。本文主要討論如何用Python生成器處理大數(shù)據(jù)。

普通計(jì)算機(jī)處理大數(shù)據(jù)思想是：將大數(shù)據(jù)分為幾批，依次處理每一批數(shù)據(jù)，最后綜合各個批次的處理結(jié)果。有關(guān)Python生成器的概念請參考我的文章《如何理解Python中的生成器？》。生成器的特點(diǎn)是依次不重復(fù)地生成數(shù)據(jù)，符合大數(shù)據(jù)處理思想，因此利用Python生成器處理大數(shù)據(jù)是一種很自然的想法。

利用生成器，在普通計(jì)算機(jī)里也可以進(jìn)行深度學(xué)習(xí)，比如要訓(xùn)練一個深度神經(jīng)網(wǎng)絡(luò)，可以采取批次訓(xùn)練方法，對每一個批次，利用生成器從硬盤里提取一個批次的數(shù)據(jù)，并不需要把所有數(shù)據(jù)加載到內(nèi)存里，對于訓(xùn)練過程以及結(jié)果，相應(yīng)地也可以采取批次方法將結(jié)果保存到硬盤里，唯一要做的是重寫代碼。

本文提供一個簡單案例，統(tǒng)計(jì)自然常數(shù)e的41萬位小數(shù)點(diǎn)的數(shù)字0-9出現(xiàn)的次數(shù)，展示Python生成器，在不需要將數(shù)據(jù)寫入內(nèi)存的情況下，如何批次處理大數(shù)據(jù)。處理思想就是把41萬位小數(shù)點(diǎn)依次劃分為41批次，每個批次的長度10000位，統(tǒng)計(jì)每個批次的數(shù)字0-9出現(xiàn)的次數(shù)，然后匯總統(tǒng)計(jì)所有批次的次數(shù)。（讀者可以嘗試用1000萬位小數(shù)點(diǎn)在一個內(nèi)存為1G的普通計(jì)算機(jī)里處理，比較一下普通方法（參考文章《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)：用Python分析自然常數(shù)e的小數(shù)點(diǎn)數(shù)字出現(xiàn)規(guī)律》）和本文方法的效果）

1.數(shù)據(jù)

原始數(shù)據(jù)共4100行數(shù)據(jù)，每行有100位小數(shù)點(diǎn)，共41萬位小數(shù)點(diǎn)，其中第1列數(shù)據(jù)為標(biāo)注，需要去掉。數(shù)據(jù)文件名為e.txt，保存在Python項(xiàng)目目錄下。

2.構(gòu)造生成器

構(gòu)造一個生成器gen，用于每次從原始文件e.txt中讀取一行數(shù)據(jù)。目前該生成器并沒有真正讀取文件，是一個機(jī)器，沒啟動它之前（使用內(nèi)置方法next()啟動它），在Python中只是一個符號，占用內(nèi)存微不足道。另外優(yōu)點(diǎn)是，該生成器并沒有打開文件對象。

3.定義批處理函數(shù)

利用生成器gen一次性從原始文件讀取bat_number行數(shù)據(jù)（一個批次），然后將bat_number行數(shù)據(jù)轉(zhuǎn)化為列表e，接著是數(shù)據(jù)預(yù)處理，比如去掉符號“\n”和空格，最后將處理后的數(shù)據(jù)轉(zhuǎn)化為Pandas的序列數(shù)據(jù)結(jié)構(gòu)。即通過批處理函數(shù)batch()，能一批次從原始文件讀取bat_number行數(shù)據(jù)，并最終轉(zhuǎn)化為Pandas的序列數(shù)據(jù)。值得注意的是，由于生成器的特點(diǎn)，運(yùn)行批處理函數(shù)batch()兩次，就得到兩批次的數(shù)據(jù)，而且第2批次的數(shù)據(jù)是接著第1批次的數(shù)據(jù)依次產(chǎn)生，因此不重復(fù)。

4.定義統(tǒng)計(jì)函數(shù)

利用批處理函數(shù)batch()獲取一個批次的數(shù)據(jù)，并統(tǒng)計(jì)數(shù)字的出現(xiàn)次數(shù)，然后遍歷所有批次，得到數(shù)字出現(xiàn)次數(shù)的列表。

5.運(yùn)行結(jié)果及可視化展示

作為例子，運(yùn)行主程序，匯總統(tǒng)計(jì)數(shù)字“9”的出現(xiàn)次數(shù)，并繪制每個批次出現(xiàn)次數(shù)的曲線圖。代碼如下：

可視化：

運(yùn)行結(jié)果如下：

6.總結(jié)

本文展示了如何利用Python生成器處理大數(shù)據(jù)的全過程。所使用的方法是通用的，可以應(yīng)用于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等領(lǐng)域。即使你沒有超級計(jì)算機(jī)，也沒有分布式大數(shù)據(jù)處理系統(tǒng)，只要你選擇合適的算法、合適的數(shù)據(jù)結(jié)構(gòu)和合適的工具（Python生成器），你只有一臺普通計(jì)算機(jī)也可以處理大數(shù)據(jù)。

（作者：百家號/AiMath）

Python 誕生之初就被譽(yù)為最容易上手的編程語言。進(jìn)入火熱的 AI 人工智能時代后，它也逐漸取代 Java，成為編程界的頭牌語言。更有碼農(nóng)圈金句：「學(xué)完 Python，可以上天」佐證其火熱程度！之前有人說過R語言和JAVA語言是最適合做數(shù)據(jù)分析的計(jì)算機(jī)編程語言之一。其實(shí)，小編想說Python也是最受歡迎的大數(shù)據(jù)分析編程語言，而且Python大數(shù)據(jù)開發(fā)可以做的更好。

為什么說Python大數(shù)據(jù)開發(fā)可以做的更好，下面就來為大家分析一下。

首先，Python語言它很容易上手。它融合了R語言快速成熟的數(shù)據(jù)挖掘能力之外，還有更實(shí)際的產(chǎn)品構(gòu)建能力。Python語言也正在迅速地獲得主流人士的擁護(hù)。只要你用過Python語言，你會發(fā)現(xiàn)它是更直觀，并且相比R語言更容易學(xué)習(xí)。它在計(jì)算機(jī)語言中的整體趨勢也是上升的很快。使其在統(tǒng)計(jì)分析上的能力超越了之前的R語言。

Python是行業(yè)人員正在轉(zhuǎn)換發(fā)展的方向。 過去兩年里，很明顯存在由R 向Python 轉(zhuǎn)化的趨勢”在數(shù)據(jù)處理中，通常存在規(guī)模和技巧的權(quán)衡，Python語言作為一個折中出現(xiàn)了。

從對數(shù)據(jù)分析工作的處理上看，IPython notebook 和NumPy 可以用于輕量工作的處理， 而 Python 則是中級規(guī)模數(shù)據(jù)處理的有力工具。豐富的數(shù)據(jù)交流社區(qū)也是 Python 的優(yōu)勢，它提供了大量的Python 工具包和特性。

據(jù)悉美國銀行也是利用Python語言開發(fā)了新的產(chǎn)品以及基礎(chǔ)設(shè)施接口。而且也用于處理金融數(shù)據(jù)。

在圖靈世界里，Python被賦予的形象是蟒蛇，而蟒蛇不僅僅是靈活的象征，更有一招制敵的大殺器。在現(xiàn)階段的數(shù)據(jù)體系內(nèi)，只要你有所了解的話，想必你會有個感覺：怎么處處都有Python的蹤影！其實(shí)每一種的計(jì)算機(jī)編程語言，似乎都有自己成名或適用的領(lǐng)域。比如Java更多用于系統(tǒng)開發(fā)，Matlab則用于數(shù)值計(jì)算及矩陣運(yùn)算，而Python的自身基因，讓其更符合數(shù)據(jù)領(lǐng)域的策略分析。

因?yàn)镻ython 在數(shù)據(jù)領(lǐng)域的獨(dú)特地位，隨著互聯(lián)網(wǎng)的發(fā)展其越來越寬廣靈活，所以越來越多的人蜂擁而至去學(xué)習(xí)Python語言。所有說，Python開發(fā)更適合做數(shù)據(jù)分析是沒問題的。

Python 誕生之初就被譽(yù)為最容易上手的編程語言。進(jìn)入火熱的 AI 人工智能時代后，它也逐漸取代 Java，成為編程界的頭牌語言。更有碼農(nóng)圈金句：「學(xué)完 Python，可以上天」佐證其火熱程度！之前有人說過R語言和JAVA語言是最適合做數(shù)據(jù)分析的計(jì)算機(jī)編程語言之一。其實(shí)，小編想說Python也是最受歡迎的大數(shù)據(jù)分析編程語言，而且Python大數(shù)據(jù)開發(fā)可以做的更好。

為什么說Python大數(shù)據(jù)開發(fā)可以做的更好，下面就來為大家分析一下。

首先，Python語言它很容易上手。它融合了R語言快速成熟的數(shù)據(jù)挖掘能力之外，還有更實(shí)際的產(chǎn)品構(gòu)建能力。Python語言也正在迅速地獲得主流人士的擁護(hù)。只要你用過Python語言，你會發(fā)現(xiàn)它是更直觀，并且相比R語言更容易學(xué)習(xí)。它在計(jì)算機(jī)語言中的整體趨勢也是上升的很快。使其在統(tǒng)計(jì)分析上的能力超越了之前的R語言。

Python是行業(yè)人員正在轉(zhuǎn)換發(fā)展的方向。 過去兩年里，很明顯存在由R 向Python 轉(zhuǎn)化的趨勢”在數(shù)據(jù)處理中，通常存在規(guī)模和技巧的權(quán)衡，Python語言作為一個折中出現(xiàn)了。

從對數(shù)據(jù)分析工作的處理上看，IPython notebook 和NumPy 可以用于輕量工作的處理， 而 Python 則是中級規(guī)模數(shù)據(jù)處理的有力工具。豐富的數(shù)據(jù)交流社區(qū)也是 Python 的優(yōu)勢，它提供了大量的Python 工具包和特性。

據(jù)悉美國銀行也是利用Python語言開發(fā)了新的產(chǎn)品以及基礎(chǔ)設(shè)施接口。而且也用于處理金融數(shù)據(jù)。

在圖靈世界里，Python被賦予的形象是蟒蛇，而蟒蛇不僅僅是靈活的象征，更有一招制敵的大殺器。在現(xiàn)階段的數(shù)據(jù)體系內(nèi)，只要你有所了解的話，想必你會有個感覺：怎么處處都有Python的蹤影！其實(shí)每一種的計(jì)算機(jī)編程語言，似乎都有自己成名或適用的領(lǐng)域。比如Java更多用于系統(tǒng)開發(fā)，Matlab則用于數(shù)值計(jì)算及矩陣運(yùn)算，而Python的自身基因，讓其更符合數(shù)據(jù)領(lǐng)域的策略分析。

因?yàn)镻ython 在數(shù)據(jù)領(lǐng)域的獨(dú)特地位，隨著互聯(lián)網(wǎng)的發(fā)展其越來越寬廣靈活，所以越來越多的人蜂擁而至去學(xué)習(xí)Python語言。所有說，Python開發(fā)更適合做數(shù)據(jù)分析是沒問題的。