在這個用數(shù)據(jù)說話的時代，能夠打動人的往往是用數(shù)據(jù)說話的理性分析，無論是對于應(yīng)付課程論文的大學(xué)黨，還是需要數(shù)據(jù)進行分析和研究的研究僧，能夠找到合適的數(shù)據(jù)源都是非常重要的。特別是想要對一個新的領(lǐng)域進行研究和探索，擁有這個領(lǐng)域的數(shù)據(jù)那都是有十分重要的意義的。

在這里煎餅學(xué)長給大家推薦一些能夠用上數(shù)據(jù)獲取方式，有了這些資源，不僅可以在數(shù)據(jù)收集的效率上能夠得到很大的提升，同時也可以學(xué)習更多思維方式。

公開的數(shù)據(jù)庫

－ 國家數(shù)據(jù) －

http://data.stats.gov/index.htm

數(shù)據(jù)來源于中國國家統(tǒng)計局，包含了我國經(jīng)濟民生等多個方面的數(shù)據(jù)，并且在月度、季度、年度都有覆蓋，較為全面和權(quán)威，對于社會科學(xué)的研究不要太有幫助。最關(guān)鍵的是，網(wǎng)站簡潔美觀，還有專門的可視化讀物。

－ CEIC －

http://ceicdata/zh-hans

最完整的一套超過128個國家的經(jīng)濟數(shù)據(jù)，能夠精確查找GDP, CPI, 進口，出口，外資直接投資，零售，銷售，以及國際利率等深度數(shù)據(jù)。其中的“中國經(jīng)濟數(shù)據(jù)庫”收編了300,000多條時間序列數(shù)據(jù)，數(shù)據(jù)內(nèi)容涵蓋宏觀經(jīng)濟數(shù)據(jù)、行業(yè)經(jīng)濟數(shù)據(jù)和地區(qū)經(jīng)濟數(shù)據(jù)。

－ wind（萬得）－

http://wind/

萬得被譽為中國的Bloomberg，在金融業(yè)有著全面的數(shù)據(jù)覆蓋，金融數(shù)據(jù)的類目更新非?？?，據(jù)說很受國內(nèi)的商業(yè)分析者和投資人的親睞。

－ 搜數(shù)網(wǎng) －

http://soshoo/

已加載到搜數(shù)網(wǎng)站的統(tǒng)計資料達到7,874本,涵蓋1,761,009張統(tǒng)計表格和364,580,479個統(tǒng)計數(shù)據(jù)，匯集了中國資訊行自92年以來收集的所有統(tǒng)計和調(diào)查數(shù)據(jù)，并提供多樣化的搜索功能。

－ 中國統(tǒng)計信息網(wǎng) －

http://tjcn.org/

國家統(tǒng)計局的官方網(wǎng)站，匯集了海量的全國各級政府各年度的國民經(jīng)濟和社會發(fā)展統(tǒng)計信息，建立了以統(tǒng)計公報為主，統(tǒng)計年鑒、階段發(fā)展數(shù)據(jù)、統(tǒng)計分析、經(jīng)濟新聞、主要統(tǒng)計指標排行等。

－ 亞馬遜aws －

http://aws.amazon/cn/datasets/?nc1=h_ls

來自亞馬遜的跨科學(xué)云數(shù)據(jù)平臺，包含化學(xué)、生物、經(jīng)濟等多個領(lǐng)域的數(shù)據(jù)集。

－ figshare －

https://figshare/

研究成果共享平臺，在這里你會發(fā)現(xiàn)來自世界的大牛們的研究成果分享，同時get其中的研究數(shù)據(jù)，內(nèi)容很有啟發(fā)性，網(wǎng)站頗具設(shè)計感。

－ github －

https://github/caesar0301/awesome-public-datasets

如果覺得前面的數(shù)據(jù)源還不夠，github上的大神已經(jīng)為大家整理好了一個非常全面的數(shù)據(jù)獲取渠道，包含各個細分領(lǐng)域的數(shù)據(jù)庫資源，自然科學(xué)和社會科學(xué)的覆蓋都很全面，簡直是做研究和數(shù)據(jù)分析的利器。

隨便上幾個圖，滿滿的都是資源啊~

數(shù)據(jù)交易平臺

－ 優(yōu)易數(shù)據(jù) －

http://youedata/

由國家信息中心發(fā)起，擁有國家級信息資源的數(shù)據(jù)平臺，國內(nèi)領(lǐng)先的數(shù)據(jù)交易平臺。平臺有B2B、B2C兩種交易模式，包含政務(wù)、社會、社交、教育、消費、交通、能源、金融、健康等多個領(lǐng)域的數(shù)據(jù)資源。

－ 數(shù)據(jù)堂 －

http://datatang/

專注于互聯(lián)網(wǎng)綜合數(shù)據(jù)交易，提供數(shù)據(jù)交易、處理和數(shù)據(jù)API服務(wù)，包含語音識別、醫(yī)療健康、交通地理、電子商務(wù)、社交網(wǎng)絡(luò)、圖像識別等方面的數(shù)據(jù)。

網(wǎng)絡(luò)指數(shù)

－ 百度指數(shù) －

http://index.baidu/

大家都很熟悉的指數(shù)查詢平臺，可以根據(jù)指數(shù)的變化查看某個主題在各個時間段受關(guān)注的情況，進行趨勢分析、輿情預(yù)測有很好的指導(dǎo)作用。除了關(guān)注趨勢之外，還有需求分析、人群畫像等精準分析的工具，對于市場調(diào)研來說具有很好的參考意義。同樣的另外兩個搜索引擎搜狗、360也有類似的產(chǎn)品，都可以作為參考。

－ 阿里指數(shù) －

https://alizs.taobao/

國內(nèi)權(quán)威的商品交易分析工具，可以按地域、按行業(yè)查看商品搜索和交易數(shù)據(jù)，基于淘寶、天貓和1688平臺的交易數(shù)據(jù)基本能夠看出國內(nèi)商品交易的概況，對于趨勢分析、行業(yè)觀察意義不小。

－ 艾瑞咨詢 －

http://iresearch/

艾瑞作為老牌的互聯(lián)網(wǎng)研究機構(gòu)，在數(shù)據(jù)的沉淀和數(shù)據(jù)分析上都有得天獨厚的優(yōu)勢，在互聯(lián)網(wǎng)的趨勢和行業(yè)發(fā)展數(shù)據(jù)分析上面比較權(quán)威，艾瑞的互聯(lián)網(wǎng)分析報告可以說是互聯(lián)網(wǎng)研究的必讀刊物。

－ 友盟指數(shù) －

http://umeng/

友盟在移動互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)統(tǒng)計和分析具有較為全面的統(tǒng)計和分析，對于研究移動端產(chǎn)品、做市場調(diào)研、用戶行為分析很有幫助。除了友盟指數(shù)，友盟的互聯(lián)網(wǎng)報告同樣是了解互聯(lián)網(wǎng)趨勢的優(yōu)秀讀物。

－ 愛奇藝指數(shù) －

http://index.iqiyi/

愛奇藝指數(shù)是專門針對視頻的播放行為、趨勢的分析平臺，對于互聯(lián)網(wǎng)視頻的播放有著全面的統(tǒng)計和分析，涉及到播放趨勢、播放設(shè)備、用戶畫像、地域分布、等多個方面。由于愛奇藝龐大的用戶基數(shù)，該指數(shù)基本可以說明實際情況。

－ 貓眼專業(yè)版－

http://piaofang.maoyan/

電影票房統(tǒng)計分析平臺，貓眼專業(yè)版有實時的票房統(tǒng)計，影片的排盤情況、上座率和影院數(shù)據(jù)，對于當前電影的分析是必不可少的。

網(wǎng)絡(luò)采集器

網(wǎng)絡(luò)采集器是通過軟件的形式實現(xiàn)簡單快捷地采集網(wǎng)絡(luò)上分散的內(nèi)容，具有很好的內(nèi)容收集作用，而且不需要技術(shù)成本，被很多用戶作為初級的采集工具。

－ 火車采集器 －

http://locoy/

一款專業(yè)的互聯(lián)網(wǎng)數(shù)據(jù)抓取、處理、分析，挖掘軟件，可以靈活迅速地抓取網(wǎng)頁上散亂分布的數(shù)據(jù)信息，并通過一系列的分析處理，準確挖掘出所需數(shù)據(jù)，最常用的就是采集某些網(wǎng)站的文字、圖片、數(shù)據(jù)等在線資源。接口比較齊全，支持的擴展比較好用，懂代碼的話，可以使用PHP或C#開發(fā)任意功能的擴展。

－ 八爪魚 －

http://bazhuayu/

簡單實用的采集器，功能齊全，操作簡單，不用寫規(guī)則。特有的云采集，關(guān)機也可以在云服務(wù)器上運行采集任務(wù)。

－ 集搜客 －

http://gooseeker/

一款簡單易用的網(wǎng)頁信息抓取軟件,能夠抓取網(wǎng)頁文字、圖表、超鏈接等多種網(wǎng)頁元素，提供好用的網(wǎng)頁抓取軟件、數(shù)據(jù)挖掘攻略、行業(yè)資訊和前沿科技等。

網(wǎng)絡(luò)爬蟲

作為極客們最喜歡的數(shù)據(jù)收集方式，爬蟲高度的自由性、自主性都使其成為數(shù)據(jù)挖掘的必備技能，當然精通python等語言是必要前提。

利用爬蟲可以做很多有意思的事情，當然也可以獲取一些從其它渠道獲取不到的數(shù)據(jù)資源，更重要的是幫你打開尋找和搜集數(shù)據(jù)的思路。

－ 利用爬蟲爬取網(wǎng)絡(luò)圖片 －

爬取的圖像素材

你看到某個網(wǎng)站上的圖片恰好是你需要的，但是量大單個下載太麻煩，那么利用爬蟲你可以快速地進行抓取，并可以根據(jù)標簽、特征、顏色等信息進行分類儲存。從此不缺設(shè)計素材，不缺美女圖片，連斗圖都多了幾分自信。

－ 利用爬蟲爬取高質(zhì)量資源 －

爬取的音樂資源

我們總是想快速地去搜集高質(zhì)量的網(wǎng)絡(luò)資源，但是人工查找比對實在太麻煩，利用爬蟲你就可以輕松解決。比如爬取知乎點zan最多的文章列表，爬取網(wǎng)易云音樂評論最多的音樂，爬取豆瓣網(wǎng)高評分的電影或圖書……總之，你可以從此拒絕平庸。

－ 利用爬蟲獲取輿情數(shù)據(jù) －

爬取的某招聘網(wǎng)站職位信息

比如你可以批量爬取社交平臺的數(shù)據(jù)資源，可以爬取網(wǎng)站的交易數(shù)據(jù)，爬取招聘網(wǎng)站的職位信息等，可以用于個性化的分析研究。

總之，爬蟲是非常強大的，甚至有人說天下沒有不能爬的網(wǎng)站，因而爬取數(shù)據(jù)也成為了很多極客的樂趣。開發(fā)出高效的爬蟲工具可以幫助我們節(jié)省很多時間，可以完全按照自己的需求來訂制，想想這個世界就太美好。

小工具

－ Web Plot Digitizer －

http://arohatgi.info/WebPlotDigitizer/app/

比如我們在查看期刊文獻的時候看到一張成型的圖表，但其本身數(shù)據(jù)是缺失的，你想獲得這個圖表的相關(guān)數(shù)據(jù)怎么辦？有了這個小工具就非常easy了。直接上傳我們需要獲得數(shù)據(jù)的圖表，如下：

然后我們就會獲得如下的數(shù)據(jù)反饋，感覺運籌帷幄有木有，對于一些不需要十分精確的分析研究足夠使用。

當然并不推薦用這個作為量化分析的依賴，對于定性的分析，做ppt級的數(shù)據(jù)統(tǒng)計分析就足夠了。

－ you-get －

https://you-get.org/

這是一個程序員基于python 3開發(fā)的項目，已經(jīng)在github上面開源，支持64個網(wǎng)站，包括優(yōu)酷、土豆、愛奇藝、b站、酷狗音樂、蝦米……總之你能想到的網(wǎng)站都有! 還有一個黑科技的地方，即使是名單上沒有的網(wǎng)站，當你輸入鏈接，程序也會猜測你想要下載什么，然后幫你下載。

下載優(yōu)酷視頻

批量下載圖片

當然you-get要在python3環(huán)境下進行安裝，用pip安裝好后，在終端輸入“you get＋你想下載資源的鏈接”就可以等著收藏資源了。

數(shù)據(jù)導(dǎo)航

收集數(shù)據(jù)是一種能力，學(xué)習收集數(shù)據(jù)也是一種能力，數(shù)據(jù)的來源是沒有窮盡的，轉(zhuǎn)換一種思維，你就可以獲得不一樣的數(shù)據(jù)，下面推薦幾個可以用到的大數(shù)據(jù)導(dǎo)航，從這里面你可能會發(fā)現(xiàn)一些你自己想要的東西。每個人喜歡的收集數(shù)據(jù)的渠道不盡相同，只有盡量多地去見識和實踐才會發(fā)現(xiàn)更多的適合自己的數(shù)據(jù)獲取方式。

－ 199IT大數(shù)據(jù)導(dǎo)航 －

http://hao.199it/

－ 數(shù)據(jù)分析網(wǎng)導(dǎo)航 －

http://afenxi/hao

－ 大數(shù)據(jù)人導(dǎo)航 －

http://hao.bigdata.ren/

在互聯(lián)網(wǎng)高度發(fā)達的今天，數(shù)據(jù)資源異常的豐富和龐大，如何高效地獲取數(shù)據(jù)成為一種重要的能力，畢竟獲取數(shù)據(jù)是一切用數(shù)據(jù)說話的前提。當然往往只需要熟練掌握一兩種方法，便足夠大多數(shù)人應(yīng)付大多數(shù)場景和需求，所以選擇合適的數(shù)據(jù)獲取渠道還需要親自探究。

利用大數(shù)據(jù)分析了淘寶網(wǎng)1288家河蟹銷售店鋪，4000件商品。

1.一個月以來總共有近70萬人在淘寶網(wǎng)買了大閘蟹，其中59.7萬人買了陽澄湖這個牌子。淘寶網(wǎng)平均一單大閘蟹在10只左右，平均在2.5斤，60萬單就是150萬斤，即一個月陽澄湖牌大閘蟹淘寶網(wǎng)銷750噸，而陽澄湖今年產(chǎn)量不到1500噸。我們在京東也進行了數(shù)據(jù)統(tǒng)計，如果將京東和淘寶上陽澄湖大閘蟹銷量相加，驚奇的發(fā)現(xiàn)，月銷量遠遠超過了1500噸，一個月哦，還不算其他時間。可見冒牌陽澄湖蟹是 必須的了，不知有多少人買了冒牌呢？

2.整個行業(yè)競爭很大，大到必須靠欺騙和不誠信來忽悠消費者，2兩的母蟹當3兩的賣，3兩的公蟹喊4兩賣，螃蟹重量不足稱。如果足稱，收購價就已經(jīng)高于賣價了，利潤已經(jīng)是負的了，如果加上運費和包裝等成本，這些店鋪豈不是要大出血。所以必須在稱上做文章。稱只要差一點，利潤就可以搞出很多。根據(jù)我們統(tǒng)計的大閘蟹從養(yǎng)殖戶到一級批發(fā)市場的離岸價格，3兩和4兩規(guī)格的公蟹中間要差20到55元一斤，2兩母蟹和3兩規(guī)格的母蟹中間差50到80元一斤(不同時間價格有波動)。所以拿小一兩的螃蟹當大一兩的賣 利潤就可以立馬高很多。這個行業(yè)可見一斤黑了，畢竟競爭如此大。下面給大家分享一張 大閘蟹各大小規(guī)格的 離岸價(即從水里撈上來的最初價格，后面一級一級批發(fā)商在此基礎(chǔ)上加價)

圖 大閘蟹每一天從蟹農(nóng)收購價

3.1288家店鋪中，月銷量超過1萬件的 只有11家，且都是天貓店鋪，11家店幾乎吃掉了一半的市場，而且這些天貓店鋪是缺斤少兩最嚴重的。寡頭經(jīng)濟中，也要耗費各種成本，比如淘寶直通車，廣告等等，花錢買流量才能把銷量搞上去。小賣家沒有流量就只能喝點殘羹剩飯

以上只是粗略的一個分析，后面我們會詳細分析 各店鋪的利潤區(qū)間，以及顧客的評論，做一個深度行業(yè)挖掘。

我們消費者雖然不容易知道大閘蟹行業(yè)背后的坑和貓膩，但是維護市場和諧，拒絕忽悠，拒絕欺騙，營造一個正能量是市場，我們堅決向那些 銷售假冒陽澄湖蟹，重量不夠足的商家說不，寧愿不吃也不要買他們的東西。