Python 作為一種開源語言提供了豐富的 API 和工具，具有較高的靈活性，同時(shí)相關(guān)的第三方庫（requests+Beautiful Soup+re）也較為成熟，可以很容易的開發(fā)出數(shù)據(jù)爬取爬蟲等程序，對于非專業(yè)程序員卻又有編程需求的業(yè)務(wù)人員非常合適。本次我們將以采集金融數(shù)據(jù)為例講述利用Python采集金融數(shù)據(jù)的過程。

BeautifulSoup庫是解析、遍歷、維護(hù) “標(biāo)簽樹” 的功能庫，需要安裝。

RE庫是正則表達(dá)式庫，Python自帶。

在使用 Python 進(jìn)行數(shù)據(jù)采集時(shí)，如果是小規(guī)模數(shù)據(jù)采集，可以使用 requests+Beautiful Soup+re 的架構(gòu)來完成，使用 requests庫可以自動(dòng)提交網(wǎng)絡(luò)請求和自動(dòng)爬取 HTML 頁面，使用 Beautiful Soup 庫和 re 正則表達(dá)式可解析 HTML頁面和提取頁面關(guān)鍵信息。

在開始采集之前，我們需要對目標(biāo)網(wǎng)站進(jìn)行充分的分析。特別是URL結(jié)構(gòu)和頁面的HTML結(jié)構(gòu)，確定好需要采集的數(shù)據(jù)和數(shù)據(jù)所在的頁面。根據(jù)對目標(biāo)網(wǎng)站（

某金融信息網(wǎng)站

）的分析，我這次采集的目標(biāo)鎖定在

某類交易商品銷售情況上，將要采集

交易名稱、價(jià)格、成交量、換手率、交易者、交易者地址等。此外我們還要查看網(wǎng)站的robots.txt 文件，以便確定爬取策略。

（一）確定數(shù)據(jù)爬取策略。

我們需要由某一頁面的URL地址開始，形成目標(biāo)頁面的URL隊(duì)列，從觀察網(wǎng)站頁面的URL變化得知，目標(biāo)網(wǎng)站產(chǎn)品分類頁的URL有以下規(guī)律（http：//s.####/search?q=”類別”&s=頁碼 ）URL地址的尾部由類別和頁碼組成，由此我們就可以制定好頁面爬取URL隊(duì)列的規(guī)則，只需使用Python腳本

遍歷得到頁面信息。每次遍歷實(shí)現(xiàn)對單個(gè) HTML 頁面信息的獲取、解析和存儲。頁面信息的獲取調(diào)用了自定義方法getHTML （），頁面信息的解析調(diào)用了自定義方法parseHTML（）。

for i in range（頁面數(shù)量）：

time.sleep（2）

try：

url=start_url+str（每頁商品數(shù)量 *i）

html=getHTML（url）

parseHTML（html，goodslist）

saveGoodsList（goodslist，file_path）

except：

continue

（二）獲取 HTML 頁面信息。Python可以通過

調(diào)用 requests 庫的 get（url）方法獲取 HTML 頁面的源代碼。

url 作為 get（url）方法參數(shù)指明了要獲取的資源路徑，返回的頁面信息被存儲為 Response 對象中。Response 對象的text 即為 HTML 的頁面內(nèi)容。requests 還包括 post（）、head（）等方法。使用 requests.get（url）.text 可以獲得url 地址所對應(yīng)的 HTML 文檔內(nèi)容；使用 f.write（re－quests.get（url）.content）可以將 url 所指向資源以二進(jìn)制的形式獲得并保存至本地硬盤。 getHTML（）方法代碼如下：

r=requests.get（url，header，timeout=30）

return r.text

（三）解析 HTML 文檔，提取關(guān)鍵信息。獲取頁面信息后，就要對 HTML 頁面內(nèi)容進(jìn)行分析以提取關(guān)鍵信息。整個(gè)解析過程中要對 HTTP 協(xié)議及 HTML 文檔結(jié)構(gòu)有足夠的認(rèn)識。當(dāng)前要獲取的是交易名稱、價(jià)格、成交量、換手率、交易者、交易者地址等信息，分析 HTML 頁面源代碼發(fā)現(xiàn)其結(jié)構(gòu)如下：

"title"："COMEX白銀 "

"price"："15.89"

"sales"："成交量"

"user"："交易者"

"item"："廣東 廣州"

根據(jù)頁面規(guī)律這些信息可以使用正則表達(dá)式直接提取，正則表達(dá)式是一個(gè)特殊的字符序列，它能方便地檢查一個(gè)字符串是否與某種模式匹配。re 庫是 python 的標(biāo)準(zhǔn)庫，主要用于字符串匹配。re 的 findall（）可以實(shí)現(xiàn)在文本中檢索全部能匹配的字符子串，并將檢索結(jié)果以列表類型返回。re 還包括 search（）、match（）、split（）等方法。當(dāng)然如果正則表達(dá)式無法提取信息也可以使用Beautiful Soup庫等對頁面內(nèi)容進(jìn)行解析。

（四）采集結(jié)果分析。當(dāng)數(shù)據(jù)采集完畢，我們即可使用Python強(qiáng)大的數(shù)據(jù)分析庫對數(shù)據(jù)進(jìn)行分析。

如：NumPy、Matplotlib等。

NumPy

NumPy 是 Python 科學(xué)計(jì)算的基礎(chǔ)包，它提供：

快速高效的多維數(shù)組對象 ndarray；

直接對數(shù)組執(zhí)行數(shù)學(xué)運(yùn)算及對數(shù)組執(zhí)行元素級計(jì)算的函數(shù)；

線性代數(shù)運(yùn)算、隨機(jī)數(shù)生成;

將 C、C++、Fortran 代碼集成到 Python 的工具等。

它專為進(jìn)行嚴(yán)格的數(shù)字處理而產(chǎn)生。多為很多大型金融公司使用，以及核心的科學(xué)計(jì)算組織如：Lawrence Livermore，NASA 用其處理一些本來使用 C++，F(xiàn)ortran 或Matlab 等所做的任務(wù)。

WechatSogou[1]-微信公眾號爬蟲?；谒压肺⑿潘阉鞯奈⑿殴娞柵老x接口，可以擴(kuò)展成基于搜狗搜索的爬蟲，返回結(jié)果是列表，每一項(xiàng)均是公眾號具體信息字典。[1]: https://github/Chyroc/WechatSogou

DouBanSpider[2]- 豆瓣讀書爬蟲。可以爬下豆瓣讀書標(biāo)簽下的所有圖書，按評分排名依次存儲，存儲到Excel中，可方便大家篩選搜羅，比如篩選評價(jià)人數(shù)>1000的高分書籍；可依據(jù)不同的主題存儲到Excel不同的Sheet ，采用User Agent偽裝為瀏覽器進(jìn)行爬取，并加入隨機(jī)延時(shí)來更好的模仿瀏覽器行為，避免爬蟲被封。[2]: https://github/lanbing510/DouBanSpider

zhihu_spider[3]- 知乎爬蟲。此項(xiàng)目的功能是爬取知乎用戶信息以及人際拓?fù)潢P(guān)系，爬蟲框架使用scrapy，數(shù)據(jù)存儲使用mongodb。[3]: https://github/LiuRoy/zhihu_spider

bilibili-user[4]- Bilibili用戶爬蟲?？倲?shù)據(jù)數(shù)：20119918，抓取字段：用戶id，昵稱，性別，頭像，等級，經(jīng)驗(yàn)值，粉絲數(shù)，生日，地址，注冊時(shí)間，簽名，等級與經(jīng)驗(yàn)值等。抓取之后生成B站用戶數(shù)據(jù)報(bào)告。[4]: https://github/airingursb/bilibili-user

SinaSpider[5]- 新浪微博爬蟲。主要爬取新浪微博用戶的個(gè)人信息、微博信息、粉絲和關(guān)注。代碼獲取新浪微博Cookie進(jìn)行登錄，可通過多賬號登錄來防止新浪的反扒。主要使用 scrapy 爬蟲框架。[5]: https://github/LiuXingMing/SinaSpider

distribute_crawler[6]- 小說下載分布式爬蟲。使用scrapy,redis, mongodb,graphite實(shí)現(xiàn)的一個(gè)分布式網(wǎng)絡(luò)爬蟲,底層存儲mongodb集群,分布式使用redis實(shí)現(xiàn),爬蟲狀態(tài)顯示使用graphite實(shí)現(xiàn)，主要針對一個(gè)小說站點(diǎn)。[6]: https://github/gnemoug/distribute_crawler

CnkiSpider[7]- 中國知網(wǎng)爬蟲。設(shè)置檢索條件后，執(zhí)行src/CnkiSpider.py抓取數(shù)據(jù)，抓取數(shù)據(jù)存儲在/data目錄下，每個(gè)數(shù)據(jù)文件的第一行為字段名稱。[7]: https://github/yanzhou/CnkiSpider

LianJiaSpider[8]- 鏈家網(wǎng)爬蟲。爬取北京地區(qū)鏈家歷年二手房成交記錄。涵蓋鏈家爬蟲一文的全部代碼，包括鏈家模擬登錄代碼。[8]: https://github/lanbing510/LianJiaSpider

scrapy_jingdong[9]- 京東爬蟲?；趕crapy的京東網(wǎng)站爬蟲，保存格式為csv。[9]: https://github/taizilongxu/scrapy_jingdong

QQ-Groups-Spider[10]- QQ 群爬蟲。批量抓取 QQ 群信息，包括群名稱、群號、群人數(shù)、群主、群簡介等內(nèi)容，最終生成 XLS(X) / CSV 結(jié)果文件。[10]: https://github/caspartse/QQ-Groups-Spider

wooyun_public[11]-烏云爬蟲。 烏云公開漏洞、知識庫爬蟲和搜索。全部公開漏洞的列表和每個(gè)漏洞的文本內(nèi)容存在mongodb中，大概約2G內(nèi)容；如果整站爬全部文本和圖片作為離線查詢，大概需要10G空間、2小時(shí)（10M電信帶寬）；爬取全部知識庫，總共約500M空間。漏洞搜索使用了Flask作為web server，bootstrap作為前端。[11]: https://github/hanc00l/wooyun_public

QunarSpider[12]- 去哪兒網(wǎng)爬蟲。 網(wǎng)絡(luò)爬蟲之Selenium使用代理登陸：爬取去哪兒網(wǎng)站，使用selenium模擬瀏覽器登陸，獲取翻頁操作。代理可以存入一個(gè)文件，程序讀取并使用。支持多進(jìn)程抓取。[12]: https://github/lining0806/QunarSpider

findtrip[13]- 機(jī)票爬蟲（去哪兒和攜程網(wǎng)）。Findtrip是一個(gè)基于Scrapy的機(jī)票爬蟲，目前整合了國內(nèi)兩大機(jī)票網(wǎng)站（去哪兒 + 攜程）。[13]: https://github/fankcoder/findtrip

163spider[14] - 基于requests、MySQLdb、torndb的網(wǎng)易客戶端內(nèi)容爬蟲。[14]: https://github/leyle/163spider

doubanspiders[15]- 豆瓣電影、書籍、小組、相冊、東西等爬蟲集。[15]: https://github/dontcontactme/doubanspiders

QQSpider[16]- QQ空間爬蟲，包括日志、說說、個(gè)人信息等，一天可抓取 400 萬條數(shù)據(jù)。[16]:https://github/LiuXingMing/QQSpider

baidu-music-spider[17]- 百度mp3全站爬蟲，使用redis支持?jǐn)帱c(diǎn)續(xù)傳。[17]: https://github/Shu-Ji/baidu-music-spider

tbcrawler[18]- 淘寶和天貓的爬蟲,可以根據(jù)搜索關(guān)鍵詞,物品id來抓去頁面的信息，數(shù)據(jù)存儲在mongodb。[18]: https://github/pakoo/tbcrawler

stockholm[19]- 一個(gè)股票數(shù)據(jù)（滬深）爬蟲和選股策略測試框架。根據(jù)選定的日期范圍抓取所有滬深兩市股票的行情數(shù)據(jù)。支持使用表達(dá)式定義選股策略。支持多線程處理。保存數(shù)據(jù)到JSON文件、CSV文件。[19]https://github/benitoro/stockholm

前面的幾篇文章講解了爬蟲的基本原理，并使用了一些代碼來做演示。這是爬蟲系列的最后一篇，這篇文章會對前面的內(nèi)容總結(jié)一下，沒有新的內(nèi)容。

Python基本環(huán)境的搭建，爬蟲的基本原理以及爬蟲的原型Python爬蟲入門，快速抓取大規(guī)模數(shù)據(jù)

如何使用BeautifulSoup對網(wǎng)頁內(nèi)容進(jìn)行提取Python爬蟲入門，快速抓取大規(guī)模數(shù)據(jù)(第二部分)

爬蟲運(yùn)行時(shí)數(shù)據(jù)的存儲數(shù)據(jù)，以SQLite和MySQL作為示例Python爬蟲入門，快速抓取大規(guī)模數(shù)據(jù)（第三部分）

使用selenium webdriver對動(dòng)態(tài)網(wǎng)頁進(jìn)行抓取Python爬蟲入門，快速抓取大規(guī)模數(shù)據(jù)（第四部分）

討論了如何處理網(wǎng)站的反爬蟲策略Python爬蟲入門，快速抓取大規(guī)模數(shù)據(jù)(第五部分)

對Python的Scrapy爬蟲框架做了介紹，并簡單的演示了如何在Scrapy下進(jìn)行開發(fā)Python爬蟲入門，快速抓取大規(guī)模數(shù)據(jù)(第六部分)

限于篇幅的長度和作為爬蟲入門文章，前面每一篇文章都只是對相關(guān)的內(nèi)容作了一個(gè)簡單的介紹。如果深入下去，每一部分都會有很多的內(nèi)容，后面有機(jī)會在單獨(dú)討論。當(dāng)然，如果對爬蟲感興趣和有工作的需要，可以用這些文章作為入門教程。

@數(shù)據(jù)分析-jacky

@數(shù)據(jù)分析-jacky

全稱：Document ObjectModel Tree，它是一組API，可以跟網(wǎng)頁的元素進(jìn)行互動(dòng)，使用BeautifulSoup就可以把網(wǎng)頁變成一個(gè)DOM TREE，我們就可以根據(jù)DOM TREE的節(jié)點(diǎn)進(jìn)行操作

@數(shù)據(jù)分析-jacky

上圖的舉例，最外面結(jié)構(gòu)是html，是最上層的節(jié)點(diǎn)，下面一層是body，里面包含h1和a兩個(gè)鏈接，這些就組成了DOM TREE的架構(gòu)，我們就可以根據(jù)這個(gè)架構(gòu)下的某些節(jié)點(diǎn)進(jìn)行互動(dòng)，我們可以取得h1里面的詞，也可以取得a里面的詞，這時(shí)候我們就可以把數(shù)據(jù)順利提取出來；

@數(shù)據(jù)分析-jacky

這里會顯示警告信息，警告信息告訴我們這段代碼沒有使用到我們的剖析器，這時(shí)python會預(yù)測一個(gè)剖析器給我們，如果我們要避免這種警告的產(chǎn)生，我們可以在代碼中指明

@數(shù)據(jù)分析-jacky

如何進(jìn)一步把上面的文字解開？加上[0],可以去掉中括號，加.text可以把里面的文字取出來

print(header[0].text)

@數(shù)據(jù)分析-jacky

本文為中國統(tǒng)計(jì)網(wǎng)原創(chuàng)文章，需要轉(zhuǎn)載請聯(lián)系中國統(tǒng)計(jì)網(wǎng)（），轉(zhuǎn)載時(shí)請注明作者及出處，并保留本文鏈接。

摘要

大多數(shù)APP里面返回的是json格式數(shù)據(jù)，或者一堆加密過的數(shù)據(jù) 。這里以超級課程表APP為例，抓取超級課程表里用戶發(fā)的話題。

前幾天有人問我，可以幫我抓取摩拜單車的數(shù)據(jù)嘛？

我想著幫他抓取下次他還是不會，古話說的好：授人以魚不如授人以漁，所以本次我們就講講如何抓取app的內(nèi)容吧。

Fiddle的安裝及配置

抓手機(jī)包我用的是fiddle。

安裝

先在下載頁面下載-→https://telerik/download/fiddler

選擇你“準(zhǔn)備用fiddle來干嘛”

你的郵箱

以及同意“最終用戶許可協(xié)議”就可以下載了

下載后按照提示安裝就可以了。

配置

源碼 群 5952 66089

開始抓包

首先確保電腦和手機(jī)連在同一個(gè)WiFi下面

打開fiddle

獲取電腦ip

打開cmd命令行

輸入ipconfig,如圖所示，192.168.31.146就是我的ip地址

打開手機(jī)WiFi設(shè)置，找到你當(dāng)前鏈接的WiFi

我當(dāng)前鏈接的是Xiaomi_E172_5G

設(shè)置代理服務(wù)器為你電腦的ip，端口號為上面設(shè)置的端口號（默認(rèn)為8888）

安裝https證書

在手機(jī)瀏覽器上打開 你電腦ip:你設(shè)置的端口號

我的是192.168.31.146:8888

點(diǎn)擊框框處安裝證書

設(shè)置fiddle監(jiān)聽所有請求

選擇all process

打開摩拜單車app

然后你會看到定位的時(shí)候一輛車也沒有。。。

打開個(gè)人詳情頁還提示“抱歉，服務(wù)暫不可用。

這是因?yàn)槟Π萦蟹雷ト∠拗疲ㄎ也率菣z測，如果有使用代理的話，直接讓你用不了。。。）

那這樣的話我們就沒辦法抓到么？？？

因?yàn)槲抑斑€用過摩拜的小程序，所以我們抓抓微信小程序試試看

打開摩拜單車的小程序

我們看到已經(jīng)定位了。。，并且把附件的單車都顯示出來了

我們可以多移動(dòng)我們的位置，然后等有把附近的車顯示出來

可以看到fiddle上面已經(jīng)有好多請求了

mobike-api。。。這很明顯就是我們要找的請求

請求頭如下圖所示，方法是post

返回值因?yàn)槲铱吹绞莏son的格式了，所以直接以json的格式看。

源碼 群 59 5266089

可以看到我們已經(jīng)抓取了需要的數(shù)據(jù)，那么怎么抓取整個(gè)上海的摩拜單車情況呢？？

只要獲取上海的所有經(jīng)緯度，然后替換上面data中的經(jīng)度及緯度就可以了。。。

那么怎么獲取上海的所有經(jīng)緯度。。。這方面沒怎么接觸。。

看完我相信大家應(yīng)該多試幾次就好了。比較實(shí)用的技巧奉上。