毫無疑問python在數(shù)據(jù)科學(xué)愛好者中越來越受歡迎了，重要的一點(diǎn)就是它為通用編程語言帶來了一個完整的體系。使用python你不僅可以轉(zhuǎn)換操作數(shù)據(jù)，而且還可以在單一體系中創(chuàng)建強(qiáng)大的管道命令和機(jī)器學(xué)習(xí)流程。 在Analytics Vidhya，我們都非常喜歡使用python，大多數(shù)人拿它作為機(jī)器學(xué)習(xí)的首選工具。另外，如果你想學(xué)習(xí)深度學(xué)習(xí)，很明顯，python在這個領(lǐng)域有著比其它編程語言更大的優(yōu)勢，它已經(jīng)形成了一個成熟的生態(tài)體系。 如果你正在為數(shù)據(jù)科學(xué)而學(xué)習(xí)python，那么這個測試可以用來幫助評估你在這方面的python水平。該測試是作為DataFest2017的一部分進(jìn)行的，總共近1300人參加了這些測試，其中超過300人參加了此次測試。

下面是參加這個測試的人的得分情況：

你可以在這個網(wǎng)址獲得最終的得分情況：https://datahack.analyticsvidhya/contest/avdatafest-powertool-python-for-data-science/lb

下面列出一些統(tǒng)計(jì)結(jié)果：

平均分：14.16

中位數(shù)：15

眾數(shù)：0

Questions & Answers

問題1描述;

想必你肯定看過“How I met your mother”這個娛樂節(jié)目，當(dāng)他們在玩這個游戲時，一旦有人說“but,um"，那么每個人都必須喝一杯飲料?，F(xiàn)在我想改變一下這個游戲，用你的技術(shù)來玩這個游戲。游戲的目的就是你需要寫一個代碼來確定一個人在整個游戲中喝了多少杯飲料。

以下是一個樣本字段。

提示：已經(jīng)導(dǎo)入了python的正則表達(dá)式庫re

1）下面哪一個代碼能完成這個任務(wù)？

答案(C)你需要找到所有的大小寫字母“but"，所以C是正確的

問題2描述給定以下字符串:

為了從上面的字符串中提取出Email地址的域名(例如“aaa","bbb",…)，你寫了下面的代碼：

2) 上面代碼中的“___"處應(yīng)該填寫什么是數(shù)字呢？ 提示：已經(jīng)導(dǎo)入了python的正則表達(dá)式庫re

A) 0 B) 1 C) 2 D) 3

參看正則表達(dá)式語法

問題3描述你的朋友有一個假設(shè) - “所有那些以字母”y“發(fā)音結(jié)尾的人（例如：Hollie）都是聰明的人。”請注意：這個名字應(yīng)該以"y"的發(fā)音結(jié)束，而不能以字母“y"結(jié)尾"?，F(xiàn)在，你需要根據(jù)這個假設(shè)從你們學(xué)校網(wǎng)站上抓取出這些數(shù)據(jù)。下面是已經(jīng)收集到的數(shù)據(jù)

你寫了下面的代碼來列出所有符合這個假設(shè)的人的名單：

3) 在正則表達(dá)式中，"pattern"處應(yīng)該怎么寫？

答案(B)你需要找出所有以"I"或"ie"結(jié)尾的字符串，所以B是正確的。

問題4描述給出下面兩個列表：

現(xiàn)在需要將兩個列表的元素合在一塊形成一個新的列表，如下

4) 你會選擇下面哪個選項(xiàng)呢？

5) 假設(shè)你已經(jīng)建立了一個機(jī)器學(xué)習(xí)模型，但是你現(xiàn)在不想用它，過一會再使用。下面哪個命令能滿足這個要求？

提示：庫pickle已被導(dǎo)入為pkl

問題6描述將下面的字符串轉(zhuǎn)換成日期值

6) 為了實(shí)現(xiàn)這個目的，“date_format"處的表達(dá)式應(yīng)該填寫出什么？

答案(D)

我已經(jīng)建立了一個簡單的神經(jīng)網(wǎng)絡(luò)用于圖像識別問題?，F(xiàn)在，我想測試是否為隱藏層正確設(shè)置了權(quán)重和偏差。為了實(shí)現(xiàn)這個目的，我需要一個單位矩陣作為輸入。以下是我的單位矩陣：

7) 在python中如何生成這樣的單位矩陣？

提示：庫numpy已導(dǎo)入為np

答案(A)選項(xiàng)B應(yīng)該為np.identity()，選項(xiàng)C的語法是錯誤的。

8) 為了檢測兩個數(shù)組是否占據(jù)了同樣的空間，應(yīng)該怎么做？ 例如，這里有兩個數(shù)組

當(dāng)你改變第一個數(shù)組的值時，第二個數(shù)組也會隨著改變。如下所示將第一個數(shù)組的前五個數(shù)改為0，那么最終兩個數(shù)組的輸出結(jié)果如下：

A) 檢查兩個數(shù)組的內(nèi)存，如果相互匹配就是一樣的 B) 看“np.array_equal(e, f)”的輸出，如果結(jié)果是“True"，那么他們是一樣的 C) 輸出"e.flags"和“f.flags"的值，如果其中一個是”False"，則這兩個數(shù)組分配了同樣的空間 D) 以上都不對 答案(C)

問題9描述假設(shè)你要將訓(xùn)練數(shù)組(train_set)和測試數(shù)組(test_set)都加入到結(jié)果數(shù)組(resulting_set)中做數(shù)據(jù)處理，如下;

9) 你怎樣合并這兩個數(shù)組？

A和B都是水平放置，但是結(jié)果應(yīng)該是垂直放置。

問題10描述假設(shè)你正在調(diào)節(jié)Iris數(shù)據(jù)集的隨機(jī)數(shù)分布參數(shù)

10) 對于“random_state (Seed value)”，下面哪個是最好的值？

這里沒有最好的值，它取決于數(shù)據(jù)的具體情況

問題11描述當(dāng)用numpy讀取csv文件時，你希望自動填充在“Date_Of_Joining"列丟失的日期值”01/01/2010"

11) 下面哪個命令能在讀取文件的同時補(bǔ)充丟失的值？

12) 在sklearn中如何導(dǎo)入一個決策樹分類器？

13) 您已將數(shù)據(jù)集以csv的格式上傳到Google的電子表格上并公開分享了?，F(xiàn)在你想在python中訪問它，該怎么做？ 提示：已導(dǎo)入StingIO庫

答案（A）

問題14 描述假設(shè)你有個3行2列的數(shù)據(jù)導(dǎo)入到pandas

現(xiàn)在你想在“features"列使用lambda函數(shù)

14) 下面的命令將會輸出什么？

問題15描述 我們有一個根據(jù)葡萄酒屬性來預(yù)測其質(zhì)量的多類別分類問題，現(xiàn)在數(shù)據(jù)“df"以dataframe的格式被導(dǎo)入了

表示質(zhì)量那列的值目前為1到10，現(xiàn)在要用二進(jìn)制問題來代替，大于5的輸出為1，其它的輸出為0 15)下面哪個代碼能完成這個任務(wù)？

問題16描述 假設(shè)有一個DataFrame類型的數(shù)據(jù)

16）下面給出的兩種表達(dá)式有什么不同？

問題17描述

考慮一個函數(shù)“fun"

17) 現(xiàn)在你輸入了一個包含3個數(shù)的列表,下面的語句將會輸出哪個結(jié)果？

問題18 描述 Sigmoid函數(shù)經(jīng)常用來創(chuàng)建神經(jīng)網(wǎng)絡(luò)激活功能，他的定義如下：

18) 找到sigmoid函數(shù)的衍生函數(shù)是非常重要的，下面哪個選項(xiàng)能完成這個任務(wù)？

答案（C）問題19描述 將一個按月記錄的數(shù)據(jù)轉(zhuǎn)換為按日記錄，如下：

首先你必須將數(shù)據(jù)擴(kuò)充到每個月(假設(shè)每月是30天) 19)下面哪個代碼能實(shí)現(xiàn)？

問題20-22

給出DataFrame格式的數(shù)據(jù)df

20 )現(xiàn)在要將df中的列“Count"改為”Click-Count"。有如下代碼，那么最終的語句將會輸出什么？

提示：庫Pandas已導(dǎo)入為pd

答案(B)

這篇文章會說說我自己的心得體驗(yàn)，關(guān)于爬蟲、關(guān)于工作，僅供參考。

學(xué)到哪種程度

暫且把目標(biāo)定位初級爬蟲工程師，簡單列一下吧：

（必要部分）

語言選擇：一般是了解Python、Java、Golang之一熟悉多線程編程、網(wǎng)絡(luò)編程、HTTP協(xié)議相關(guān)開發(fā)過完整爬蟲項(xiàng)目（最好有全站爬蟲經(jīng)驗(yàn)，這個下面會說到）反爬相關(guān)，cookie、ip池、驗(yàn)證碼等等熟練使用分布式（非必要，建議）

了解消息隊(duì)列，如RabbitMQ、Kafka、Redis等具有數(shù)據(jù)挖掘、自然語言處理、信息檢索、機(jī)器學(xué)習(xí)經(jīng)驗(yàn)熟悉APP數(shù)據(jù)采集、中間人代理大數(shù)據(jù)處理（Hive/MR/Spark/Storm）數(shù)據(jù)庫Mysql，redis，mongdb熟悉Git操作、linux環(huán)境開發(fā)讀懂js代碼，這個真的很重要如何提升

隨便看看知乎上的教程就可以入門了，就Python而言，會requests當(dāng)然是不夠的，還需要了解scrapy和pyspider這兩個框架，scrapy_redis也是需要理解原理的。

分布式如何搭建、如何解決其中遇到內(nèi)存、速度問題。

什么叫全站爬取

最簡單的拿拉鉤來舉例，搜索關(guān)鍵詞，有30頁，不要以為把這30頁爬完就是全站爬取了，你應(yīng)該想方法把所有數(shù)據(jù)全部爬下來。

什么辦法，通過篩選縮小范圍，慢慢來就OK了。

同時，每個職位還會有推薦職位，再寫一個采集推薦的爬蟲。

這個過程需要注意的是如何去重，Mongo可以、redis也可以。

實(shí)際項(xiàng)目經(jīng)驗(yàn)

這個面試中肯定會被人問道，如：

你爬過哪些網(wǎng)站日均最大采集量是多少你遇到哪些棘手問題，如何解決等等那么怎么找項(xiàng)目呢？比如我要爬微博數(shù)據(jù)，去Github中搜索下，項(xiàng)目還算少嗎？

模擬登陸其實(shí)就是一步步的請求，保存cookie會話。

語言選擇

我自己建議是Python、Java、Golang最好都了解，Java爬蟲的也很多，但是網(wǎng)上教程幾乎都是Python的，悲哀。

最后說下Golang，Golang真的很牛逼，說個數(shù)字，Golang可以每分鐘下載網(wǎng)頁數(shù)量 2W ，Python可以嗎~~

關(guān)于反爬

常見的 UA、Refer等需要了解是什么東西，有些驗(yàn)證的ID如何產(chǎn)生的，是否必要；關(guān)于IP池這塊我不了解，不多說，需要注意的是如何設(shè)計(jì)拉黑機(jī)制；模擬登陸也是必要的，fuck-login 可以研究下代碼，或者提PR。

如何判斷能力足夠

很簡單，給個任務(wù)，爬取知乎上所有問題。

你會如何思考并設(shè)計(jì)這個項(xiàng)目？

毫無疑問python在數(shù)據(jù)科學(xué)愛好者中越來越受歡迎了，重要的一點(diǎn)就是它為通用編程語言帶來了一個完整的體系。使用python你不僅可以轉(zhuǎn)換操作數(shù)據(jù)，而且還可以在單一體系中創(chuàng)建強(qiáng)大的管道命令和機(jī)器學(xué)習(xí)流程。 在Analytics Vidhya，我們都非常喜歡使用python，大多數(shù)人拿它作為機(jī)器學(xué)習(xí)的首選工具。另外，如果你想學(xué)習(xí)深度學(xué)習(xí)，很明顯，python在這個領(lǐng)域有著比其它編程語言更大的優(yōu)勢，它已經(jīng)形成了一個成熟的生態(tài)體系。 如果你正在為數(shù)據(jù)科學(xué)而學(xué)習(xí)python，那么這個測試可以用來幫助評估你在這方面的python水平。該測試是作為DataFest2017的一部分進(jìn)行的，總共近1300人參加了這些測試，其中超過300人參加了此次測試。

下面是參加這個測試的人的得分情況：

你可以在這個網(wǎng)址獲得最終的得分情況：https://datahack.analyticsvidhya/contest/avdatafest-powertool-python-for-data-science/lb

下面列出一些統(tǒng)計(jì)結(jié)果：

平均分：14.16

中位數(shù)：15

眾數(shù)：0

Questions & Answers

問題1描述;

想必你肯定看過“How I met your mother”這個娛樂節(jié)目，當(dāng)他們在玩這個游戲時，一旦有人說“but,um"，那么每個人都必須喝一杯飲料。現(xiàn)在我想改變一下這個游戲，用你的技術(shù)來玩這個游戲。游戲的目的就是你需要寫一個代碼來確定一個人在整個游戲中喝了多少杯飲料。

以下是一個樣本字段。

提示：已經(jīng)導(dǎo)入了python的正則表達(dá)式庫re

1）下面哪一個代碼能完成這個任務(wù)？

答案(C)你需要找到所有的大小寫字母“but"，所以C是正確的

問題2描述給定以下字符串:

為了從上面的字符串中提取出Email地址的域名(例如“aaa","bbb",…)，你寫了下面的代碼：

2) 上面代碼中的“___"處應(yīng)該填寫什么是數(shù)字呢？ 提示：已經(jīng)導(dǎo)入了python的正則表達(dá)式庫re

A) 0 B) 1 C) 2 D) 3

參看正則表達(dá)式語法

問題3描述你的朋友有一個假設(shè) - “所有那些以字母”y“發(fā)音結(jié)尾的人（例如：Hollie）都是聰明的人?！闭堊⒁猓哼@個名字應(yīng)該以"y"的發(fā)音結(jié)束，而不能以字母“y"結(jié)尾"。現(xiàn)在，你需要根據(jù)這個假設(shè)從你們學(xué)校網(wǎng)站上抓取出這些數(shù)據(jù)。下面是已經(jīng)收集到的數(shù)據(jù)

你寫了下面的代碼來列出所有符合這個假設(shè)的人的名單：

3) 在正則表達(dá)式中，"pattern"處應(yīng)該怎么寫？

答案(B)你需要找出所有以"I"或"ie"結(jié)尾的字符串，所以B是正確的。

問題4描述給出下面兩個列表：

現(xiàn)在需要將兩個列表的元素合在一塊形成一個新的列表，如下

4) 你會選擇下面哪個選項(xiàng)呢？

5) 假設(shè)你已經(jīng)建立了一個機(jī)器學(xué)習(xí)模型，但是你現(xiàn)在不想用它，過一會再使用。下面哪個命令能滿足這個要求？

提示：庫pickle已被導(dǎo)入為pkl

問題6描述將下面的字符串轉(zhuǎn)換成日期值

6) 為了實(shí)現(xiàn)這個目的，“date_format"處的表達(dá)式應(yīng)該填寫出什么？

答案(D)

我已經(jīng)建立了一個簡單的神經(jīng)網(wǎng)絡(luò)用于圖像識別問題?，F(xiàn)在，我想測試是否為隱藏層正確設(shè)置了權(quán)重和偏差。為了實(shí)現(xiàn)這個目的，我需要一個單位矩陣作為輸入。以下是我的單位矩陣：

7) 在python中如何生成這樣的單位矩陣？

提示：庫numpy已導(dǎo)入為np

答案(A)選項(xiàng)B應(yīng)該為np.identity()，選項(xiàng)C的語法是錯誤的。

8) 為了檢測兩個數(shù)組是否占據(jù)了同樣的空間，應(yīng)該怎么做？ 例如，這里有兩個數(shù)組

當(dāng)你改變第一個數(shù)組的值時，第二個數(shù)組也會隨著改變。如下所示將第一個數(shù)組的前五個數(shù)改為0，那么最終兩個數(shù)組的輸出結(jié)果如下：

A) 檢查兩個數(shù)組的內(nèi)存，如果相互匹配就是一樣的 B) 看“np.array_equal(e, f)”的輸出，如果結(jié)果是“True"，那么他們是一樣的 C) 輸出"e.flags"和“f.flags"的值，如果其中一個是”False"，則這兩個數(shù)組分配了同樣的空間 D) 以上都不對 答案(C)

問題9描述假設(shè)你要將訓(xùn)練數(shù)組(train_set)和測試數(shù)組(test_set)都加入到結(jié)果數(shù)組(resulting_set)中做數(shù)據(jù)處理，如下;

9) 你怎樣合并這兩個數(shù)組？

A和B都是水平放置，但是結(jié)果應(yīng)該是垂直放置。

問題10描述假設(shè)你正在調(diào)節(jié)Iris數(shù)據(jù)集的隨機(jī)數(shù)分布參數(shù)

10) 對于“random_state (Seed value)”，下面哪個是最好的值？

這里沒有最好的值，它取決于數(shù)據(jù)的具體情況

問題11描述當(dāng)用numpy讀取csv文件時，你希望自動填充在“Date_Of_Joining"列丟失的日期值”01/01/2010"

11) 下面哪個命令能在讀取文件的同時補(bǔ)充丟失的值？

12) 在sklearn中如何導(dǎo)入一個決策樹分類器？

13) 您已將數(shù)據(jù)集以csv的格式上傳到Google的電子表格上并公開分享了。現(xiàn)在你想在python中訪問它，該怎么做？ 提示：已導(dǎo)入StingIO庫

答案（A）

問題14 描述假設(shè)你有個3行2列的數(shù)據(jù)導(dǎo)入到pandas

現(xiàn)在你想在“features"列使用lambda函數(shù)

14) 下面的命令將會輸出什么？

問題15描述 我們有一個根據(jù)葡萄酒屬性來預(yù)測其質(zhì)量的多類別分類問題，現(xiàn)在數(shù)據(jù)“df"以dataframe的格式被導(dǎo)入了

表示質(zhì)量那列的值目前為1到10，現(xiàn)在要用二進(jìn)制問題來代替，大于5的輸出為1，其它的輸出為0 15)下面哪個代碼能完成這個任務(wù)？

問題16描述 假設(shè)有一個DataFrame類型的數(shù)據(jù)

16）下面給出的兩種表達(dá)式有什么不同？

問題17描述

考慮一個函數(shù)“fun"

17) 現(xiàn)在你輸入了一個包含3個數(shù)的列表,下面的語句將會輸出哪個結(jié)果？

問題18 描述 Sigmoid函數(shù)經(jīng)常用來創(chuàng)建神經(jīng)網(wǎng)絡(luò)激活功能，他的定義如下：

18) 找到sigmoid函數(shù)的衍生函數(shù)是非常重要的，下面哪個選項(xiàng)能完成這個任務(wù)？

答案（C）問題19描述 將一個按月記錄的數(shù)據(jù)轉(zhuǎn)換為按日記錄，如下：

首先你必須將數(shù)據(jù)擴(kuò)充到每個月(假設(shè)每月是30天) 19)下面哪個代碼能實(shí)現(xiàn)？

問題20-22

給出DataFrame格式的數(shù)據(jù)df

20 )現(xiàn)在要將df中的列“Count"改為”Click-Count"。有如下代碼，那么最終的語句將會輸出什么？

提示：庫Pandas已導(dǎo)入為pd

答案(B)