選自Medium

作者：Igor Bobriakov

機器之心編譯

參與：朱朝陽、吳攀

Python 近幾年在數(shù)據(jù)科學行業(yè)獲得了人們的極大青睞，各種資源也層出不窮。數(shù)據(jù)科學解決方案公司 ActiveWizards 近日根據(jù)他們自己的應用開發(fā)經(jīng)驗，總結(jié)了數(shù)據(jù)科學家和工程師將在 2017 年最常使用的 Python 庫。

核心庫

1）NumPy

地址：http://numpy.org

當使用 Python 開始處理科學任務時，不可避免地需要求助 Python 的 SciPy Stack，它是專門為 Python 中的科學計算而設計的軟件的集合（不要與 SciPy 混淆，它只是這個 stack 的一部分，以及圍繞這個 stack 的社區(qū)）。這個 stack 相當龐大，其中有十幾個庫，所以我們想聚焦在核心包上（特別是最重要的）。

NumPy（代表 Numerical Python）是構(gòu)建科學計算 stack 的最基礎(chǔ)的包。它為 Python 中的 n 維數(shù)組和矩陣的操作提供了大量有用的功能。該庫還提供了 NumPy 數(shù)組類型的數(shù)學運算向量化，可以提升性能，從而加快執(zhí)行速度。

2）SciPy

地址：https://scipy.org

SciPy 是一個工程和科學軟件庫。除此以外，你還要了解 SciPy Stack 和 SciPy 庫之間的區(qū)別。SciPy 包含線性代數(shù)、優(yōu)化、集成和統(tǒng)計的模塊。SciPy 庫的主要功能建立在 NumPy 的基礎(chǔ)之上，因此它的數(shù)組大量使用了 NumPy。它通過其特定的子模塊提供高效的數(shù)值例程操作，比如數(shù)值積分、優(yōu)化和許多其他例程。SciPy 的所有子模塊中的函數(shù)都有詳細的文檔，這也是一個優(yōu)勢。

3）Pandas

地址：http://pandas.pydata.org

Pandas 是一個 Python 包，旨在通過「標記（labeled）」和「關(guān)系（relational）」數(shù)據(jù)進行工作，簡單直觀。Pandas 是 data wrangling 的完美工具。它設計用于快速簡單的數(shù)據(jù)操作、聚合和可視化。庫中有兩個主要的數(shù)據(jù)結(jié)構(gòu)：

Series：一維

Data Frames：二維

例如，當你要從這兩種類型的結(jié)構(gòu)中接收到一個新的「Dataframe」類型的數(shù)據(jù)時，你將通過傳遞一個「Series」來將一行添加到「Dataframe」中來接收這樣的 Dataframe：

這里只是一小撮你可以用 Pandas 做的事情：

輕松刪除并添加「Dataframe」中的列將數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換為「Dataframe」對象處理丟失數(shù)據(jù)，表示為 NaN（Not a Number）功能強大的分組

可視化

4）Matplotlib

地址：https://matplotlib.org

Matplotlib 是另一個 SciPy Stack 核心軟件包和另一個 Python 庫，專為輕松生成簡單而強大的可視化而量身定制。它是一個頂尖的軟件，使得 Python（在 NumPy、SciPy 和 Pandas 的幫助下）成為 MatLab 或 Mathematica 等科學工具的顯著競爭對手。然而，這個庫比較底層，這意味著你需要編寫更多的代碼才能達到高級的可視化效果，通常會比使用更高級工具付出更多努力，但總的來說值得一試?；ㄒ稽c力氣，你就可以做到任何可視化：

線圖散點圖條形圖和直方圖餅狀圖莖圖輪廓圖場圖頻譜圖

還有使用 Matplotlib 創(chuàng)建標簽、網(wǎng)格、圖例和許多其他格式化實體的功能?；旧希磺卸际强啥ㄖ频?。

該庫支持不同的平臺，并可使用不同的 GUI 工具套件來描述所得到的可視化。許多不同的 IDE（如 IPython）都支持 Matplotlib 的功能。

還有一些額外的庫可以使可視化變得更加容易。

5）Seaborn

地址：https://seaborn.pydata.org

Seaborn 主要關(guān)注統(tǒng)計模型的可視化；這種可視化包括熱度圖（heat map），可以總結(jié)數(shù)據(jù)但也描繪總體分布。Seaborn 基于 Matplotlib，并高度依賴于它。

6）Bokeh

地址：http://bokeh.pydata.org

Bokeh 也是一個很好的可視化庫，其目的是交互式可視化。與之前的庫相反，這個庫獨立于 Matplotlib。正如我們已經(jīng)提到的那樣，Bokeh 的重點是交互性，它通過現(xiàn)代瀏覽器以數(shù)據(jù)驅(qū)動文檔（d3.js）的風格呈現(xiàn)。

7）Plotly

地址：https://plot.ly

最后談談 Plotly。它是一個基于 Web 的工具箱，用于構(gòu)建可視化，將 API 呈現(xiàn)給某些編程語言（其中包括 Python）。在 plot.ly 網(wǎng)站上有一些強大的、開箱即用的圖形。為了使用 Plotly，你需要設置你的 API 密鑰。圖形處理會放在服務器端，并在互聯(lián)網(wǎng)上發(fā)布，但也有一種方法可以避免這么做。

機器學習

8）SciKit-Learn

地址：http://scikit-learn.org

Scikits 是 SciPy Stack 的附加軟件包，專為特定功能（如圖像處理和輔助機器學習）而設計。在后者方面，其中最突出的一個是 scikit-learn。該軟件包構(gòu)建于 SciPy 之上，并大量使用其數(shù)學操作。

scikit-learn 有一個簡潔和一致的接口，可利用常見的機器學習算法，讓我們可以簡單地在生產(chǎn)中應用機器學習。該庫結(jié)合了質(zhì)量很好的代碼和良好的文檔，易于使用且有著非常高的性能，是使用 Python 進行機器學習的實際上的行業(yè)標準。

深度學習：Keras / TensorFlow / Theano

在深度學習方面，Python 中最突出和最方便的庫之一是 Keras，它可以在 TensorFlow 或者 Theano 之上運行。讓我們來看一下它們的一些細節(jié)。

9）Theano

地址：https://github/Theano

首先，讓我們談談 Theano。Theano 是一個 Python 包，它定義了與 NumPy 類似的多維數(shù)組，以及數(shù)學運算和表達式。該庫是經(jīng)過編譯的，使其在所有架構(gòu)上能夠高效運行。這個庫最初由蒙特利爾大學機器學習組開發(fā)，主要是為了滿足機器學習的需求。

要注意的是，Theano 與 NumPy 在底層的操作上緊密集成。該庫還優(yōu)化了 GPU 和 CPU 的使用，使數(shù)據(jù)密集型計算的性能更快。

效率和穩(wěn)定性調(diào)整允許更精確的結(jié)果，即使是非常小的值也可以，例如，即使 x 很小，log(1+x) 也能得到很好的結(jié)果。

10）TensorFlow

地址：https://tensorflow.org

TensorFlow 來自 Google 的開發(fā)人員，它是用于數(shù)據(jù)流圖計算的開源庫，專門為機器學習設計。它是為滿足 Google 對訓練神經(jīng)網(wǎng)絡的高要求而設計的，是基于神經(jīng)網(wǎng)絡的機器學習系統(tǒng) DistBelief 的繼任者。然而，TensorFlow 并不是谷歌的科學專用的——它也足以支持許多真實世界的應用。

TensorFlow 的關(guān)鍵特征是其多層節(jié)點系統(tǒng)，可以在大型數(shù)據(jù)集上快速訓練人工神經(jīng)網(wǎng)絡。這為 Google 的語音識別和圖像識別提供了支持。

11）Keras

地址：https://keras.io

最后，我們來看看 Keras。它是一個使用高層接口構(gòu)建神經(jīng)網(wǎng)絡的開源庫，它是用 Python 編寫的。它簡單易懂，具有高級可擴展性。它使用 Theano 或 TensorFlow 作為后端，但 Microsoft 現(xiàn)在已將 CNTK（Microsoft 的認知工具包）集成為新的后端。

其簡約的設計旨在通過建立緊湊型系統(tǒng)進行快速和容易的實驗。

Keras 極其容易上手，而且可以進行快速的原型設計。它完全使用 Python 編寫的，所以本質(zhì)上很高層。它是高度模塊化和可擴展的。盡管它簡單易用且面向高層，但 Keras 也非常深度和強大，足以用于嚴肅的建模。

Keras 的一般思想是基于神經(jīng)網(wǎng)絡的層，然后圍繞層構(gòu)建一切。數(shù)據(jù)以張量的形式進行準備，第一層負責輸入張量，最后一層用于輸出。模型構(gòu)建于兩者之間。

自然語言處理

12）NLTK

地址：http://nltk.org

這套庫的名稱是 Natural Language Toolkit（自然語言工具包），顧名思義，它可用于符號和統(tǒng)計自然語言處理的常見任務。NLTK 旨在促進 NLP 及相關(guān)領(lǐng)域（語言學、認知科學和人工智能等）的教學和研究，目前正被重點關(guān)注。

NLTK 允許許多操作，例如文本標記、分類和 tokenizing、命名實體識別、建立語語料庫樹（揭示句子間和句子內(nèi)的依存性）、詞干提取、語義推理。所有的構(gòu)建塊都可以為不同的任務構(gòu)建復雜的研究系統(tǒng)，例如情緒分析、自動摘要。

13）Gensim

地址：http://radimrehurek/gensim

這是一個用于 Python 的開源庫，實現(xiàn)了用于向量空間建模和主題建模的工具。這個庫為大文本進行了有效的設計，而不僅僅可以處理內(nèi)存中內(nèi)容。其通過廣泛使用 NumPy 數(shù)據(jù)結(jié)構(gòu)和 SciPy 操作而實現(xiàn)了效率。它既高效又易于使用。

Gensim 的目標是可以應用原始的和非結(jié)構(gòu)化的數(shù)字文本。Gensim 實現(xiàn)了諸如分層 Dirichlet 進程（HDP）、潛在語義分析（LSA）和潛在 Dirichlet 分配（LDA）等算法，還有 tf-idf、隨機投影、word2vec 和 document2vec，以便于檢查一組文檔（通常稱為語料庫）中文本的重復模式。所有這些算法是無監(jiān)督的——不需要任何參數(shù)，唯一的輸入是語料庫。

數(shù)據(jù)挖掘與統(tǒng)計

14）Scrapy

地址：https://scrapy.org

Scrapy 是用于從網(wǎng)絡檢索結(jié)構(gòu)化數(shù)據(jù)（如聯(lián)系人信息或 URL）的爬蟲程序（也稱為 spider bots）的庫。它是開源的，用 Python 編寫。它最初是為 scraping 設計的，正如其名字所示的那樣，但它現(xiàn)在已經(jīng)發(fā)展成了一個完整的框架，可以從 API 收集數(shù)據(jù)，也可以用作通用的爬蟲。

該庫在接口設計上遵循著名的 Don』t Repeat Yourself 原則——提醒用戶編寫通用的可復用的代碼，因此可以用來開發(fā)和擴展大型爬蟲。

Scrapy 的架構(gòu)圍繞 Spider 類構(gòu)建，該類包含了一套爬蟲所遵循的指令。

15）Statsmodels

地址：http://statsmodels.org

statsmodels 是一個用于 Python 的庫，正如你可能從名稱中猜出的那樣，其讓用戶能夠通過使用各種統(tǒng)計模型估計方法以及執(zhí)行統(tǒng)計斷言和分析來進行數(shù)據(jù)探索。

許多有用的特征是描述性的，并可通過使用線性回歸模型、廣義線性模型、離散選擇模型、穩(wěn)健的線性模型、時序分析模型、各種估計器進行統(tǒng)計。

該庫還提供了廣泛的繪圖函數(shù)，專門用于統(tǒng)計分析和調(diào)整使用大數(shù)據(jù)統(tǒng)計數(shù)據(jù)的良好性能。

結(jié)論

這個列表中的庫被很多數(shù)據(jù)科學家和工程師認為是最頂級的，了解和熟悉它們是很有價值的。這里有這些庫在 GitHub 上活動的詳細統(tǒng)計：

當然，這并不是一份完全詳盡的列表，還有其它很多值得關(guān)注的庫、工具包和框架。比如說用于特定任務的 SciKit 包，其中包括用于圖像的 SciKit-Image。如果你也有好想法，不妨與我們分享。

大數(shù)據(jù)是目前互聯(lián)網(wǎng)流行的技術(shù)語言，處理大數(shù)據(jù)的編程語言比較有優(yōu)勢的也很多，比如java、python、go、R語言、Hadoop等等，按道理來說每種編程語言都可以處理大數(shù)據(jù)，只是處理的規(guī)模不一樣而且，但是現(xiàn)在比較受歡迎的數(shù)據(jù)處理編程語言是java與python。

說到java編程，java工程師一直都是同行的高薪崗位，而python是從最初的2016人工智能開始爆發(fā)，從而在短短兩年之內(nèi)能趕超java。隨著python的發(fā)展，最大贏家無疑是python。未來大數(shù)據(jù)是對于一家企業(yè)有多重要，通過對數(shù)據(jù)的分析，可以了解市場需求、發(fā)展方向，對公司未來的定位，把數(shù)量龐大、不規(guī)整的數(shù)據(jù)信息進行梳理，總結(jié)出可供查詢的特征。

自從python熱度趕超java之后，python在大數(shù)據(jù)方面的優(yōu)勢逐漸被人們認識，但是java作為20多年成熟的編程語言，在大數(shù)據(jù)處理方面已存在已久，依然是程序員開發(fā)比較喜愛的編程。

java在大數(shù)據(jù)處理方面還是比較傾向軟件應用與網(wǎng)站數(shù)據(jù)，包括游戲數(shù)據(jù)處理，特別是金融服務數(shù)據(jù)處理，一直都是java的強項；python有著眾多免費科學算法庫，優(yōu)勢在人工智能大數(shù)據(jù)處理，當然也有使用Python在銀行的基礎(chǔ)架構(gòu)中處理財務數(shù)據(jù)?？梢哉fjava與python在大數(shù)據(jù)處理各有優(yōu)勢。

Part1 用戶畫像評測回顧與總結(jié)

1、為什么做用戶畫像評測？

將時鐘撥回到2018年初，大家迫切想打破以往資訊推薦無章可循的局面，而今日的推薦算法也似乎演成了神話，用戶意圖這個詞在WiFi管家團隊被一再提及，繼而AI推薦布局被推到了前臺。

用戶意圖識別的優(yōu)劣取決于對用戶實時需求的了解程度，此事古來難。AI團隊率先做的嘗試是在一些特定場景下猜測用戶意圖，進行意圖相關(guān)推薦，如住酒店用戶，地鐵上用戶等，這是算法可以做的事情，那測試在這個過程中可以做些什么呢？算法驗證相對滯后，有什么可以先行的呢？用戶意圖識別首要識別對用戶場景，如果場景錯了，后面的工作就無法關(guān)聯(lián)起來。如，住酒店，是個動態(tài)場景，嘗試進一步拆分成可衡量的靜態(tài)場景，如，什么人（性別，工作，偏好等）？什么時間（出行時間）住什么酒店（酒店位置，級別等）？這些我們是有后套標簽系統(tǒng)的，經(jīng)過了解這些標簽系統(tǒng)已經(jīng)有些嘗試應用，但是標簽本身準確性卻無從評估，因此，用戶標簽準確性評測就在懵懂中籌備開始了。

2、用戶畫像準確性怎么做？

感謝先行者瀏覽器團隊，提供了最初的評測思路，他們的考慮很周全。而我在具體的實踐過程中，根據(jù)業(yè)務的實際情況制定了最終的評測方案（下圖），從第一輪標簽提取開始，就暴露出各種細節(jié)問題，好在都一一解決了。

簡單列下可供后來者借鑒的幾個注意項： 視頻資料學習分享 企（Q）鵝群 519970686

（1） 問卷設計的原則：每一個問卷題目與后臺標簽對應關(guān)系提前考慮好，有的一對一有的一對多。問卷的每一個選項要與對應標簽的取值對應好關(guān)系，這會大大簡化后期腳本處理工作。

（2） 問卷下發(fā)回收：最初下發(fā)了label數(shù)量>9的用戶，用>8的用戶補了1k，結(jié)果實際回收率不到50%，于是追加了>8的全量用戶，總共4k多個，實際回收依然不足1k，而此間耗費了將近2周的時間。

（3） 關(guān)鍵字選取：整個過程關(guān)鍵字是imei，但下發(fā)問卷時，眾測平臺關(guān)鍵字卻是qq，這就在數(shù)據(jù)處理上又需要多一層轉(zhuǎn)換處理了。

（4） 標簽系統(tǒng)提數(shù)：標簽系統(tǒng)的數(shù)據(jù)是周期性更新，更新頻率高，建議問卷回收后進行二次提數(shù)，盡可能減少時間差造成的數(shù)據(jù)不一致。

（5） 腳本處理：因為涉及的數(shù)據(jù)量比較大，涉及到比較多文件的處理，強烈建議裝兩個庫，jupyter notebook（交互式筆記本，可及時編寫和調(diào)試代碼，很好用），還有一個大數(shù)據(jù)處理的pandas，對于excel的操作實在便利太多。

（6） 經(jīng)緯度處理：經(jīng)緯度數(shù)據(jù)沒法下發(fā)問卷，因此問卷題目設計成問具體地址，大樓，小區(qū)等。數(shù)據(jù)轉(zhuǎn)換接入了地圖的逆地址解析接口，然后再對比具體位置信息，這里的對比也是糾結(jié)了1天時間，最終精確到2個中文字符的維度。

3、用戶畫像準確性怎么分析？

至問卷回收完畢，實際工作才完成一半，接下來就是遠超預估的復雜繁瑣的數(shù)據(jù)處理及分析過程了。我想用下面這張圖來描述整個分析過程。

整個分析包括四部分：

（1） 黃框：活躍用戶數(shù)據(jù)處理。

1.為什么要做？

活躍用戶主要下發(fā)問卷前用，這里為什么還需要做分析呢？這里的分析工作是可以省掉的，方案最后會說，先來看這里的目標是什么。因為問卷沒有收集imei數(shù)據(jù)，而lable標簽是根據(jù)imei進行統(tǒng)計的，因此這里需要多做一層merge處理，以使問卷可以補足缺失的imei信息。

2.是否可優(yōu)化？是否存在風險？

細心的讀者可能已經(jīng)發(fā)現(xiàn)，這里存在一個隱患！可能導致樣本數(shù)量減少，因為用戶的qq和imei其實不是一一對應的，可能存在一對一或一對多情況，如果下發(fā)imei用戶更換qq完成了問卷，這里的merge就會導致部分樣本數(shù)據(jù)反查不到imei數(shù)據(jù)從而丟失樣本。慶幸的是本次測試丟失樣本數(shù)不到10個，否則我可能要從頭再來了。

3.如何規(guī)避？

在用戶問卷設計中讓用戶主動反饋imei信息。前期設計沒有考慮清楚key值的設計造成了這個隱患，同時還增加了分析的工作量。

（2） 藍框：系統(tǒng)lable數(shù)據(jù)處理。

1.為什么要做？

細心的讀者會發(fā)現(xiàn)，系統(tǒng)lable在最初已經(jīng)提取了，用于做單個用戶lable數(shù)量的過濾分析，這里還可以直接用原來的數(shù)據(jù)么？

答案是非常不建議！因為后臺數(shù)據(jù)會周期性更新，最初提取的數(shù)據(jù)已經(jīng)不能表征問卷用戶當前的上報數(shù)據(jù)了。所以lable數(shù)據(jù)重新提取這一步不能省。

（3） 紅框：問卷數(shù)據(jù)處理。

1.為什么要做？

問卷設計的原則是便于用戶理解選擇，與代碼數(shù)據(jù)上報實現(xiàn)差異很大，所以這里的數(shù)據(jù)解析是必須的，也是結(jié)果分析最核心的部分。

2.做了什么？

這里我花費了大量的時間寫腳本、調(diào)試，這里大量采用pandas，感謝它大大簡化了我的代碼量。為了便于大家熟悉了解pandas的用法，我這里會截取部分代碼來看。

Action1：drop冗余數(shù)據(jù)

經(jīng)驗：感謝pandas，定義droplist，通過dataframe的drop方法，兩行代碼：

Action2：按lableid重新定義列名

Action3：常規(guī)各列數(shù)據(jù)處理（舉個栗子）

（4）綠框：diff結(jié)果分析

1.做了什么？

在腳本處理上經(jīng)緯度會更復雜，但思路大同小異，便于解說，這里以常規(guī)數(shù)據(jù)舉例。

關(guān)鍵點1：利用dataframe將一行取出來存成array：

關(guān)鍵點2：定義diffresult文件列名：

關(guān)鍵點3：遍歷每一列數(shù)據(jù)，過濾掉不存在lable：

關(guān)鍵點4：循環(huán)遍歷比較系統(tǒng)數(shù)據(jù)和用戶數(shù)據(jù)：

在本part最后，再總結(jié)下不足，主要有如下三方面： 視頻資料學習分享 企（Q）鵝群 519970686

（1） 樣本覆蓋全面性不夠：覆蓋具有局限性，不能代表所有的用戶；

（2） 無法全自動化監(jiān)控：問卷設計及提數(shù)暫時無法自動化，也就僅限于一次摸底；

（3） 樣本數(shù)量不足：單個用戶的標簽不全，導致標簽整體數(shù)量偏少。

Part2 pandas使用總結(jié)

1、jupyter環(huán)境準備（web交互式筆記本，python快速編碼運行調(diào)試神器）。

（1）pip install jupyter

解決：下載ipython-5.7.0-py2-none-any.whl，notebook-5.5.0-py2.py3-none-any.whl放到python的Scripts目錄下，pip install xxx.whl。

（2）再次pipinstall jupyter

（3）使用jupyter notebook

new-選擇對應類型可打開交互式筆記本界面。

2、Pandas擅長做什么？

（1）快速讀寫csv、excel、sql，以原表數(shù)據(jù)結(jié)構(gòu)存儲，便捷操作處理行、列數(shù)據(jù)；

（2）數(shù)據(jù)文檔行列索引快速一鍵重定義；

（3）強大的函數(shù)支持大數(shù)據(jù)文件的快速統(tǒng)計分析；

（4）可以對整個數(shù)據(jù)結(jié)構(gòu)進行操作，不必一行行循環(huán)讀取……

如果您有上述需求，不妨繼續(xù)往下看。

3、pandas安裝

（1）安裝：一般用pip，安裝第三方庫前不妨先更新下pip。

python -m pip install -U pip

pip install pandas

（2）導入

import pandas as pd

（3） 幫助

查看python第三方庫幫助，利用python自帶pydoc文檔生成工具

Step1：配置pydoc服務

Cmd下python –m pydoc –p 1234

Step2：瀏覽器打開http://localhost:1234/

4、Pandas數(shù)據(jù)結(jié)構(gòu)

series：帶標簽的一維數(shù)組，標簽可以重定義。

dataframe：二維表格性數(shù)組，導入讀取的csv、excel就是這種結(jié)構(gòu)，可以直接對行列做操作。

舉個例子：

讀取表格——得到類型是DataFrame的二維數(shù)組question_data：

其中的一列df[‘num’]就是一維數(shù)組series，像個豎起來的list。

5、pandas的數(shù)據(jù)處理

（1）數(shù)據(jù)檢索處理。

（a）查詢首尾；

（b）查詢某行，列；

注意：iloc、loc、ix（盡量用ix，避免搞不清楚index和行號）。

loc：主要通過index索引行數(shù)據(jù)。df.loc[1:]可獲取多行，df.loc[[1],[‘name’,’score’]]也可獲取某行某列iloc：主要通過行號索引行數(shù)據(jù)。與loc的區(qū)別，index可以定義，行號固定不變，index沒有重新定義的話，index與行號相同。

ix：結(jié)合loc和iloc的混合索引。df.ix[1]，df.ix[‘1’]。

（c）按條件查詢指定行和列；

（d）多條件查詢；

（2）數(shù)據(jù)增刪改處理。

（a）增刪行；

（b）增刪列；

（c）行列數(shù)據(jù)相連：參看（3）（c）。

（3）多表數(shù)據(jù)處理；

（a）merge；

eg:合并兩張表：

stu_score1 = pd.merge(df_student, df_score, on='Name')——內(nèi)連接，交集。

stu_score1

stu_score2 =pd.merge(df_student, df_score, on='Name',how='left')——左連接，以左邊為準。

stu_score2

how參數(shù)：inner(默認)，left，right，outer，分別為內(nèi)、左、右、外連接，inner為交集，outer為并集。

（b）join——how原則同merge，默認how=‘left’

主用于索引拼接列，兩張表不同列索引合并成一個DataFram，比較少用。

（c）concat——axis=0，按行合并，axis=1，按列合并

stu_score2 = pd.concat([df_student,df_score], axis=0)。

stu_score2

（4）數(shù)據(jù)統(tǒng)計處理；

（a）df.describe()

根據(jù)某列計算一系列統(tǒng)計值，df[‘xxx’].describe()，返回如下數(shù)據(jù)表：

（b）df.set_index(‘列a’)與df.reset_index(‘列a’)

需要對某列數(shù)據(jù)處理時可以通過set_index()設為索引，再用df.sort_index()進行排序，然后再通過reset_index()設回數(shù)據(jù)。

（5）文件讀寫處理； 視頻資料學習分享 企（Q）鵝群 519970686

以csv為例

df = pd.read_csv("D:/pandas_test.csv", encoding='utf-8')

df.to_csv(r"D:\test.csv", index=False,sep=',', encoding='utf_8_sig')

寫文件時設置encoding='utf_8_sig'可解決中文亂碼問題。

（6）數(shù)據(jù)集批量處理。

（a）apply和applymap

df[‘’].apply(函數(shù))對某列數(shù)據(jù)應用函數(shù)，df.applymap(函數(shù))對整個表應用函數(shù)。

（b）groupby

根據(jù)某列或某幾列分組，本身沒有任何計算，返回，用于做分組后的數(shù)據(jù)統(tǒng)計，如：

group_results = total_result.groupby(['lable', 'diff_value']).size()返回每個分組的個數(shù)，常用的有max()，min()，mean()

如上是本次腳本分析涉及到的功能，此外，pandas還有作圖功能，這次暫未用到，就不展開說啦。

不是每個人都擁有一臺超級計算機，那么如何利用一臺普通計算機處理大數(shù)據(jù)？當數(shù)據(jù)大小超過你計算機的內(nèi)存，這時不能一次性把大數(shù)據(jù)寫入內(nèi)存里，否則會產(chǎn)生內(nèi)存溢出。大多數(shù)機器學習算法都是基于內(nèi)存，即原始數(shù)據(jù)以及過程數(shù)據(jù)都保存在內(nèi)存，這給普通計算機處理大數(shù)據(jù)造成困難。通過本文的學習，你將學會如何利用普通計算機處理大數(shù)據(jù)。本文主要討論如何用Python生成器處理大數(shù)據(jù)。

普通計算機處理大數(shù)據(jù)思想是：將大數(shù)據(jù)分為幾批，依次處理每一批數(shù)據(jù)，最后綜合各個批次的處理結(jié)果。有關(guān)Python生成器的概念請參考我的文章《如何理解Python中的生成器？》。生成器的特點是依次不重復地生成數(shù)據(jù)，符合大數(shù)據(jù)處理思想，因此利用Python生成器處理大數(shù)據(jù)是一種很自然的想法。

利用生成器，在普通計算機里也可以進行深度學習，比如要訓練一個深度神經(jīng)網(wǎng)絡，可以采取批次訓練方法，對每一個批次，利用生成器從硬盤里提取一個批次的數(shù)據(jù)，并不需要把所有數(shù)據(jù)加載到內(nèi)存里，對于訓練過程以及結(jié)果，相應地也可以采取批次方法將結(jié)果保存到硬盤里，唯一要做的是重寫代碼。

本文提供一個簡單案例，統(tǒng)計自然常數(shù)e的41萬位小數(shù)點的數(shù)字0-9出現(xiàn)的次數(shù)，展示Python生成器，在不需要將數(shù)據(jù)寫入內(nèi)存的情況下，如何批次處理大數(shù)據(jù)。處理思想就是把41萬位小數(shù)點依次劃分為41批次，每個批次的長度10000位，統(tǒng)計每個批次的數(shù)字0-9出現(xiàn)的次數(shù)，然后匯總統(tǒng)計所有批次的次數(shù)。（讀者可以嘗試用1000萬位小數(shù)點在一個內(nèi)存為1G的普通計算機里處理，比較一下普通方法（參考文章《機器學習實戰(zhàn)：用Python分析自然常數(shù)e的小數(shù)點數(shù)字出現(xiàn)規(guī)律》）和本文方法的效果）

1.數(shù)據(jù)

原始數(shù)據(jù)共4100行數(shù)據(jù)，每行有100位小數(shù)點，共41萬位小數(shù)點，其中第1列數(shù)據(jù)為標注，需要去掉。數(shù)據(jù)文件名為e.txt，保存在Python項目目錄下。

2.構(gòu)造生成器

構(gòu)造一個生成器gen，用于每次從原始文件e.txt中讀取一行數(shù)據(jù)。目前該生成器并沒有真正讀取文件，是一個機器，沒啟動它之前（使用內(nèi)置方法next()啟動它），在Python中只是一個符號，占用內(nèi)存微不足道。另外優(yōu)點是，該生成器并沒有打開文件對象。

3.定義批處理函數(shù)

利用生成器gen一次性從原始文件讀取bat_number行數(shù)據(jù)（一個批次），然后將bat_number行數(shù)據(jù)轉(zhuǎn)化為列表e，接著是數(shù)據(jù)預處理，比如去掉符號“\n”和空格，最后將處理后的數(shù)據(jù)轉(zhuǎn)化為Pandas的序列數(shù)據(jù)結(jié)構(gòu)。即通過批處理函數(shù)batch()，能一批次從原始文件讀取bat_number行數(shù)據(jù)，并最終轉(zhuǎn)化為Pandas的序列數(shù)據(jù)。值得注意的是，由于生成器的特點，運行批處理函數(shù)batch()兩次，就得到兩批次的數(shù)據(jù)，而且第2批次的數(shù)據(jù)是接著第1批次的數(shù)據(jù)依次產(chǎn)生，因此不重復。

4.定義統(tǒng)計函數(shù)

利用批處理函數(shù)batch()獲取一個批次的數(shù)據(jù)，并統(tǒng)計數(shù)字的出現(xiàn)次數(shù)，然后遍歷所有批次，得到數(shù)字出現(xiàn)次數(shù)的列表。

5.運行結(jié)果及可視化展示

作為例子，運行主程序，匯總統(tǒng)計數(shù)字“9”的出現(xiàn)次數(shù)，并繪制每個批次出現(xiàn)次數(shù)的曲線圖。代碼如下：

可視化：

運行結(jié)果如下：

6.總結(jié)

本文展示了如何利用Python生成器處理大數(shù)據(jù)的全過程。所使用的方法是通用的，可以應用于機器學習、深度學習等領(lǐng)域。即使你沒有超級計算機，也沒有分布式大數(shù)據(jù)處理系統(tǒng)，只要你選擇合適的算法、合適的數(shù)據(jù)結(jié)構(gòu)和合適的工具（Python生成器），你只有一臺普通計算機也可以處理大數(shù)據(jù)。

（作者：百家號/AiMath）

Python 誕生之初就被譽為最容易上手的編程語言。進入火熱的 AI 人工智能時代后，它也逐漸取代 Java，成為編程界的頭牌語言。更有碼農(nóng)圈金句：「學完 Python，可以上天」佐證其火熱程度！之前有人說過R語言和JAVA語言是最適合做數(shù)據(jù)分析的計算機編程語言之一。其實，小編想說Python也是最受歡迎的大數(shù)據(jù)分析編程語言，而且Python大數(shù)據(jù)開發(fā)可以做的更好。

為什么說Python大數(shù)據(jù)開發(fā)可以做的更好，下面就來為大家分析一下。

首先，Python語言它很容易上手。它融合了R語言快速成熟的數(shù)據(jù)挖掘能力之外，還有更實際的產(chǎn)品構(gòu)建能力。Python語言也正在迅速地獲得主流人士的擁護。只要你用過Python語言，你會發(fā)現(xiàn)它是更直觀，并且相比R語言更容易學習。它在計算機語言中的整體趨勢也是上升的很快。使其在統(tǒng)計分析上的能力超越了之前的R語言。

Python是行業(yè)人員正在轉(zhuǎn)換發(fā)展的方向。 過去兩年里，很明顯存在由R 向Python 轉(zhuǎn)化的趨勢”在數(shù)據(jù)處理中，通常存在規(guī)模和技巧的權(quán)衡，Python語言作為一個折中出現(xiàn)了。

從對數(shù)據(jù)分析工作的處理上看，IPython notebook 和NumPy 可以用于輕量工作的處理， 而 Python 則是中級規(guī)模數(shù)據(jù)處理的有力工具。豐富的數(shù)據(jù)交流社區(qū)也是 Python 的優(yōu)勢，它提供了大量的Python 工具包和特性。

據(jù)悉美國銀行也是利用Python語言開發(fā)了新的產(chǎn)品以及基礎(chǔ)設施接口。而且也用于處理金融數(shù)據(jù)。

在圖靈世界里，Python被賦予的形象是蟒蛇，而蟒蛇不僅僅是靈活的象征，更有一招制敵的大殺器。在現(xiàn)階段的數(shù)據(jù)體系內(nèi)，只要你有所了解的話，想必你會有個感覺：怎么處處都有Python的蹤影！其實每一種的計算機編程語言，似乎都有自己成名或適用的領(lǐng)域。比如Java更多用于系統(tǒng)開發(fā)，Matlab則用于數(shù)值計算及矩陣運算，而Python的自身基因，讓其更符合數(shù)據(jù)領(lǐng)域的策略分析。

因為Python 在數(shù)據(jù)領(lǐng)域的獨特地位，隨著互聯(lián)網(wǎng)的發(fā)展其越來越寬廣靈活，所以越來越多的人蜂擁而至去學習Python語言。所有說，Python開發(fā)更適合做數(shù)據(jù)分析是沒問題的。

大數(shù)據(jù)是目前互聯(lián)網(wǎng)流行的技術(shù)語言，處理大數(shù)據(jù)的編程語言比較有優(yōu)勢的也很多，比如java、python、go、R語言、Hadoop等等，按道理來說每種編程語言都可以處理大數(shù)據(jù)，只是處理的規(guī)模不一樣而且，但是現(xiàn)在比較受歡迎的數(shù)據(jù)處理編程語言是java與python。

說到java編程，java工程師一直都是同行的高薪崗位，而python是從最初的2016人工智能開始爆發(fā)，從而在短短兩年之內(nèi)能趕超java。隨著python的發(fā)展，最大贏家無疑是python。未來大數(shù)據(jù)是對于一家企業(yè)有多重要，通過對數(shù)據(jù)的分析，可以了解市場需求、發(fā)展方向，對公司未來的定位，把數(shù)量龐大、不規(guī)整的數(shù)據(jù)信息進行梳理，總結(jié)出可供查詢的特征。

自從python熱度趕超java之后，python在大數(shù)據(jù)方面的優(yōu)勢逐漸被人們認識，但是java作為20多年成熟的編程語言，在大數(shù)據(jù)處理方面已存在已久，依然是程序員開發(fā)比較喜愛的編程。

java在大數(shù)據(jù)處理方面還是比較傾向軟件應用與網(wǎng)站數(shù)據(jù)，包括游戲數(shù)據(jù)處理，特別是金融服務數(shù)據(jù)處理，一直都是java的強項；python有著眾多免費科學算法庫，優(yōu)勢在人工智能大數(shù)據(jù)處理，當然也有使用Python在銀行的基礎(chǔ)架構(gòu)中處理財務數(shù)據(jù)?？梢哉fjava與python在大數(shù)據(jù)處理各有優(yōu)勢。

Part1 用戶畫像評測回顧與總結(jié)

1、為什么做用戶畫像評測？

將時鐘撥回到2018年初，大家迫切想打破以往資訊推薦無章可循的局面，而今日的推薦算法也似乎演成了神話，用戶意圖這個詞在WiFi管家團隊被一再提及，繼而AI推薦布局被推到了前臺。

用戶意圖識別的優(yōu)劣取決于對用戶實時需求的了解程度，此事古來難。AI團隊率先做的嘗試是在一些特定場景下猜測用戶意圖，進行意圖相關(guān)推薦，如住酒店用戶，地鐵上用戶等，這是算法可以做的事情，那測試在這個過程中可以做些什么呢？算法驗證相對滯后，有什么可以先行的呢？用戶意圖識別首要識別對用戶場景，如果場景錯了，后面的工作就無法關(guān)聯(lián)起來。如，住酒店，是個動態(tài)場景，嘗試進一步拆分成可衡量的靜態(tài)場景，如，什么人（性別，工作，偏好等）？什么時間（出行時間）住什么酒店（酒店位置，級別等）？這些我們是有后套標簽系統(tǒng)的，經(jīng)過了解這些標簽系統(tǒng)已經(jīng)有些嘗試應用，但是標簽本身準確性卻無從評估，因此，用戶標簽準確性評測就在懵懂中籌備開始了。

2、用戶畫像準確性怎么做？

感謝先行者瀏覽器團隊，提供了最初的評測思路，他們的考慮很周全。而我在具體的實踐過程中，根據(jù)業(yè)務的實際情況制定了最終的評測方案（下圖），從第一輪標簽提取開始，就暴露出各種細節(jié)問題，好在都一一解決了。

簡單列下可供后來者借鑒的幾個注意項： 視頻資料學習分享 企（Q）鵝群 519970686

（1） 問卷設計的原則：每一個問卷題目與后臺標簽對應關(guān)系提前考慮好，有的一對一有的一對多。問卷的每一個選項要與對應標簽的取值對應好關(guān)系，這會大大簡化后期腳本處理工作。

（2） 問卷下發(fā)回收：最初下發(fā)了label數(shù)量>9的用戶，用>8的用戶補了1k，結(jié)果實際回收率不到50%，于是追加了>8的全量用戶，總共4k多個，實際回收依然不足1k，而此間耗費了將近2周的時間。

（3） 關(guān)鍵字選?。赫麄€過程關(guān)鍵字是imei，但下發(fā)問卷時，眾測平臺關(guān)鍵字卻是qq，這就在數(shù)據(jù)處理上又需要多一層轉(zhuǎn)換處理了。

（4） 標簽系統(tǒng)提數(shù)：標簽系統(tǒng)的數(shù)據(jù)是周期性更新，更新頻率高，建議問卷回收后進行二次提數(shù)，盡可能減少時間差造成的數(shù)據(jù)不一致。

（5） 腳本處理：因為涉及的數(shù)據(jù)量比較大，涉及到比較多文件的處理，強烈建議裝兩個庫，jupyter notebook（交互式筆記本，可及時編寫和調(diào)試代碼，很好用），還有一個大數(shù)據(jù)處理的pandas，對于excel的操作實在便利太多。

（6） 經(jīng)緯度處理：經(jīng)緯度數(shù)據(jù)沒法下發(fā)問卷，因此問卷題目設計成問具體地址，大樓，小區(qū)等。數(shù)據(jù)轉(zhuǎn)換接入了地圖的逆地址解析接口，然后再對比具體位置信息，這里的對比也是糾結(jié)了1天時間，最終精確到2個中文字符的維度。

3、用戶畫像準確性怎么分析？

至問卷回收完畢，實際工作才完成一半，接下來就是遠超預估的復雜繁瑣的數(shù)據(jù)處理及分析過程了。我想用下面這張圖來描述整個分析過程。

整個分析包括四部分：

（1） 黃框：活躍用戶數(shù)據(jù)處理。

1.為什么要做？

活躍用戶主要下發(fā)問卷前用，這里為什么還需要做分析呢？這里的分析工作是可以省掉的，方案最后會說，先來看這里的目標是什么。因為問卷沒有收集imei數(shù)據(jù)，而lable標簽是根據(jù)imei進行統(tǒng)計的，因此這里需要多做一層merge處理，以使問卷可以補足缺失的imei信息。

2.是否可優(yōu)化？是否存在風險？

細心的讀者可能已經(jīng)發(fā)現(xiàn)，這里存在一個隱患！可能導致樣本數(shù)量減少，因為用戶的qq和imei其實不是一一對應的，可能存在一對一或一對多情況，如果下發(fā)imei用戶更換qq完成了問卷，這里的merge就會導致部分樣本數(shù)據(jù)反查不到imei數(shù)據(jù)從而丟失樣本。慶幸的是本次測試丟失樣本數(shù)不到10個，否則我可能要從頭再來了。

3.如何規(guī)避？

在用戶問卷設計中讓用戶主動反饋imei信息。前期設計沒有考慮清楚key值的設計造成了這個隱患，同時還增加了分析的工作量。

（2） 藍框：系統(tǒng)lable數(shù)據(jù)處理。

1.為什么要做？

細心的讀者會發(fā)現(xiàn)，系統(tǒng)lable在最初已經(jīng)提取了，用于做單個用戶lable數(shù)量的過濾分析，這里還可以直接用原來的數(shù)據(jù)么？

答案是非常不建議！因為后臺數(shù)據(jù)會周期性更新，最初提取的數(shù)據(jù)已經(jīng)不能表征問卷用戶當前的上報數(shù)據(jù)了。所以lable數(shù)據(jù)重新提取這一步不能省。

（3） 紅框：問卷數(shù)據(jù)處理。

1.為什么要做？

問卷設計的原則是便于用戶理解選擇，與代碼數(shù)據(jù)上報實現(xiàn)差異很大，所以這里的數(shù)據(jù)解析是必須的，也是結(jié)果分析最核心的部分。

2.做了什么？

這里我花費了大量的時間寫腳本、調(diào)試，這里大量采用pandas，感謝它大大簡化了我的代碼量。為了便于大家熟悉了解pandas的用法，我這里會截取部分代碼來看。

Action1：drop冗余數(shù)據(jù)

經(jīng)驗：感謝pandas，定義droplist，通過dataframe的drop方法，兩行代碼：

Action2：按lableid重新定義列名

Action3：常規(guī)各列數(shù)據(jù)處理（舉個栗子）

（4）綠框：diff結(jié)果分析

1.做了什么？

在腳本處理上經(jīng)緯度會更復雜，但思路大同小異，便于解說，這里以常規(guī)數(shù)據(jù)舉例。

關(guān)鍵點1：利用dataframe將一行取出來存成array：

關(guān)鍵點2：定義diffresult文件列名：

關(guān)鍵點3：遍歷每一列數(shù)據(jù)，過濾掉不存在lable：

關(guān)鍵點4：循環(huán)遍歷比較系統(tǒng)數(shù)據(jù)和用戶數(shù)據(jù)：

在本part最后，再總結(jié)下不足，主要有如下三方面： 視頻資料學習分享 企（Q）鵝群 519970686

（1） 樣本覆蓋全面性不夠：覆蓋具有局限性，不能代表所有的用戶；

（2） 無法全自動化監(jiān)控：問卷設計及提數(shù)暫時無法自動化，也就僅限于一次摸底；

（3） 樣本數(shù)量不足：單個用戶的標簽不全，導致標簽整體數(shù)量偏少。

Part2 pandas使用總結(jié)

1、jupyter環(huán)境準備（web交互式筆記本，python快速編碼運行調(diào)試神器）。

（1）pip install jupyter

解決：下載ipython-5.7.0-py2-none-any.whl，notebook-5.5.0-py2.py3-none-any.whl放到python的Scripts目錄下，pip install xxx.whl。

（2）再次pipinstall jupyter

（3）使用jupyter notebook

new-選擇對應類型可打開交互式筆記本界面。

2、Pandas擅長做什么？

（1）快速讀寫csv、excel、sql，以原表數(shù)據(jù)結(jié)構(gòu)存儲，便捷操作處理行、列數(shù)據(jù)；

（2）數(shù)據(jù)文檔行列索引快速一鍵重定義；

（3）強大的函數(shù)支持大數(shù)據(jù)文件的快速統(tǒng)計分析；

（4）可以對整個數(shù)據(jù)結(jié)構(gòu)進行操作，不必一行行循環(huán)讀取……

如果您有上述需求，不妨繼續(xù)往下看。

3、pandas安裝

（1）安裝：一般用pip，安裝第三方庫前不妨先更新下pip。

python -m pip install -U pip

pip install pandas

（2）導入

import pandas as pd

（3） 幫助

查看python第三方庫幫助，利用python自帶pydoc文檔生成工具

Step1：配置pydoc服務

Cmd下python –m pydoc –p 1234

Step2：瀏覽器打開http://localhost:1234/

4、Pandas數(shù)據(jù)結(jié)構(gòu)

series：帶標簽的一維數(shù)組，標簽可以重定義。

dataframe：二維表格性數(shù)組，導入讀取的csv、excel就是這種結(jié)構(gòu)，可以直接對行列做操作。

舉個例子：

讀取表格——得到類型是DataFrame的二維數(shù)組question_data：

其中的一列df[‘num’]就是一維數(shù)組series，像個豎起來的list。

5、pandas的數(shù)據(jù)處理

（1）數(shù)據(jù)檢索處理。

（a）查詢首尾；

（b）查詢某行，列；

注意：iloc、loc、ix（盡量用ix，避免搞不清楚index和行號）。

loc：主要通過index索引行數(shù)據(jù)。df.loc[1:]可獲取多行，df.loc[[1],[‘name’,’score’]]也可獲取某行某列iloc：主要通過行號索引行數(shù)據(jù)。與loc的區(qū)別，index可以定義，行號固定不變，index沒有重新定義的話，index與行號相同。

ix：結(jié)合loc和iloc的混合索引。df.ix[1]，df.ix[‘1’]。

（c）按條件查詢指定行和列；

（d）多條件查詢；

（2）數(shù)據(jù)增刪改處理。

（a）增刪行；

（b）增刪列；

（c）行列數(shù)據(jù)相連：參看（3）（c）。

（3）多表數(shù)據(jù)處理；

（a）merge；

eg:合并兩張表：

stu_score1 = pd.merge(df_student, df_score, on='Name')——內(nèi)連接，交集。

stu_score1

stu_score2 =pd.merge(df_student, df_score, on='Name',how='left')——左連接，以左邊為準。

stu_score2

how參數(shù)：inner(默認)，left，right，outer，分別為內(nèi)、左、右、外連接，inner為交集，outer為并集。

（b）join——how原則同merge，默認how=‘left’

主用于索引拼接列，兩張表不同列索引合并成一個DataFram，比較少用。

（c）concat——axis=0，按行合并，axis=1，按列合并

stu_score2 = pd.concat([df_student,df_score], axis=0)。

stu_score2

（4）數(shù)據(jù)統(tǒng)計處理；

（a）df.describe()

根據(jù)某列計算一系列統(tǒng)計值，df[‘xxx’].describe()，返回如下數(shù)據(jù)表：

（b）df.set_index(‘列a’)與df.reset_index(‘列a’)

需要對某列數(shù)據(jù)處理時可以通過set_index()設為索引，再用df.sort_index()進行排序，然后再通過reset_index()設回數(shù)據(jù)。

（5）文件讀寫處理； 視頻資料學習分享 企（Q）鵝群 519970686

以csv為例

df = pd.read_csv("D:/pandas_test.csv", encoding='utf-8')

df.to_csv(r"D:\test.csv", index=False,sep=',', encoding='utf_8_sig')

寫文件時設置encoding='utf_8_sig'可解決中文亂碼問題。

（6）數(shù)據(jù)集批量處理。

（a）apply和applymap

df[‘’].apply(函數(shù))對某列數(shù)據(jù)應用函數(shù)，df.applymap(函數(shù))對整個表應用函數(shù)。

（b）groupby

根據(jù)某列或某幾列分組，本身沒有任何計算，返回，用于做分組后的數(shù)據(jù)統(tǒng)計，如：

group_results = total_result.groupby(['lable', 'diff_value']).size()返回每個分組的個數(shù)，常用的有max()，min()，mean()

如上是本次腳本分析涉及到的功能，此外，pandas還有作圖功能，這次暫未用到，就不展開說啦。

Python 誕生之初就被譽為最容易上手的編程語言。進入火熱的 AI 人工智能時代后，它也逐漸取代 Java，成為編程界的頭牌語言。更有碼農(nóng)圈金句：「學完 Python，可以上天」佐證其火熱程度！之前有人說過R語言和JAVA語言是最適合做數(shù)據(jù)分析的計算機編程語言之一。其實，小編想說Python也是最受歡迎的大數(shù)據(jù)分析編程語言，而且Python大數(shù)據(jù)開發(fā)可以做的更好。

為什么說Python大數(shù)據(jù)開發(fā)可以做的更好，下面就來為大家分析一下。

首先，Python語言它很容易上手。它融合了R語言快速成熟的數(shù)據(jù)挖掘能力之外，還有更實際的產(chǎn)品構(gòu)建能力。Python語言也正在迅速地獲得主流人士的擁護。只要你用過Python語言，你會發(fā)現(xiàn)它是更直觀，并且相比R語言更容易學習。它在計算機語言中的整體趨勢也是上升的很快。使其在統(tǒng)計分析上的能力超越了之前的R語言。

Python是行業(yè)人員正在轉(zhuǎn)換發(fā)展的方向。 過去兩年里，很明顯存在由R 向Python 轉(zhuǎn)化的趨勢”在數(shù)據(jù)處理中，通常存在規(guī)模和技巧的權(quán)衡，Python語言作為一個折中出現(xiàn)了。

從對數(shù)據(jù)分析工作的處理上看，IPython notebook 和NumPy 可以用于輕量工作的處理， 而 Python 則是中級規(guī)模數(shù)據(jù)處理的有力工具。豐富的數(shù)據(jù)交流社區(qū)也是 Python 的優(yōu)勢，它提供了大量的Python 工具包和特性。

據(jù)悉美國銀行也是利用Python語言開發(fā)了新的產(chǎn)品以及基礎(chǔ)設施接口。而且也用于處理金融數(shù)據(jù)。

在圖靈世界里，Python被賦予的形象是蟒蛇，而蟒蛇不僅僅是靈活的象征，更有一招制敵的大殺器。在現(xiàn)階段的數(shù)據(jù)體系內(nèi)，只要你有所了解的話，想必你會有個感覺：怎么處處都有Python的蹤影！其實每一種的計算機編程語言，似乎都有自己成名或適用的領(lǐng)域。比如Java更多用于系統(tǒng)開發(fā)，Matlab則用于數(shù)值計算及矩陣運算，而Python的自身基因，讓其更符合數(shù)據(jù)領(lǐng)域的策略分析。

因為Python 在數(shù)據(jù)領(lǐng)域的獨特地位，隨著互聯(lián)網(wǎng)的發(fā)展其越來越寬廣靈活，所以越來越多的人蜂擁而至去學習Python語言。所有說，Python開發(fā)更適合做數(shù)據(jù)分析是沒問題的。