最近幫朋友做一些網(wǎng)絡(luò)營銷的工作，需要抓取一些客源信息，用以輔助營銷，我感覺很多做電商的朋友，尤其是微商朋友們，應(yīng)該都是比較需要各種客源信息的吧，今天，小編我就借此機(jī)會把利用python多進(jìn)程的方式抓取黃頁海量的客源信息的方法分享給大家，希望大家能多多關(guān)注本人，多討論關(guān)于爬蟲和數(shù)據(jù)挖掘分析相關(guān)的問題。

該代碼已經(jīng)上傳至本人的github，喜歡的朋友可到我的公眾號獲取。

一、特別提到的庫：

多進(jìn)程：pool

mogo數(shù)據(jù)庫：pymongo

自然語言編碼轉(zhuǎn)換：codecs

二、特別推薦----jupyter

做開發(fā)沒有趁手的兵器是不行的，對于python腳本的開發(fā)以及做一些數(shù)據(jù)挖掘和分析這方面工作來說，jupyter notebook這個工具是一個非常合適的工具，它可以保存你寫的階段性的小腳本，同時，又不至于像ipython那樣把有價值的歷史代碼被滾屏所淹沒，關(guān)于這個工具的其他優(yōu)點，大家可以自行百度，總之，這是一個python開發(fā)的一個神器，借助它可以快速的寫出很多高效的代碼出來。

三、主要代碼：

這次抓取的站點是黃頁88網(wǎng)，網(wǎng)站放置行業(yè)信息的結(jié)構(gòu)是這樣的，按照行業(yè)來抓取的話，首先是分為各種行業(yè)，每種行業(yè)下面又可以獲取到各個省份的該行業(yè)的信息。

為了能夠按照行業(yè)進(jìn)行抓取，我們可以先把首頁出現(xiàn)的行業(yè)分類抓取下來，保存為字典，這一步的方法就不仔細(xì)說了，請自行解決。我已經(jīng)保存好了字典，將起保存在一個單獨的配置文件中，方便調(diào)用時使用。

獲取各個行業(yè)對應(yīng)的每個省的url，我們可以寫一個函數(shù)來完成，返回一個url的列表。

有了這個url以后，就可以直接得到內(nèi)容了，其中翻頁的時候需要注意url中控制頁碼是通過pn變量實現(xiàn)的，也需要對最后一頁做一下判斷，否則就會形成死循環(huán)。這一步就已經(jīng)把數(shù)據(jù)寫入了txt文件中。

最后是執(zhí)行爬蟲的的代碼，這里用到了多線程，同時需要存入mongodb的數(shù)據(jù)庫。

由于自媒體發(fā)布的時候貼代碼不太方便，感興趣的朋友關(guān)注我的同名訂閱號獲取github地址吧！

馬云：比我差的人還沒放棄，比我好的人仍在努力，我就更沒資格說，我無能為力，相信別人，放棄自己，這是許多人失敗人生的開始，生活不會否定任何人，就怕自己否定生活

馬云：努力奮斗著，但是不知道多少年后才能擁有自己的一套房子，也不知道以現(xiàn)在每月兩三千塊的工資，何時才能混出頭，更不知道我們成功的速度，能否趕上父母老去的速度。有時感覺，看不到未來，可是除了奮斗，我們又能怎樣。因為相信自己，相信唯有奮斗才有可能，心中還有夢。

馬云：相信自己，到底相信自己什么？相信自己的內(nèi)心，相信自己的感覺，相信自己的判斷，永遠(yuǎn)不要按照別人定下的規(guī)矩去規(guī)范自己的人生。最可怕的是認(rèn)為成功是單數(shù)，認(rèn)為成功只有一種標(biāo)準(zhǔn)。

當(dāng)今的阿里巴巴占據(jù)了互聯(lián)網(wǎng)的半壁江山，可知當(dāng)初馬云團(tuán)隊付出的血汗，當(dāng)今的新東方可謂教育界一枝獨秀，可知俞敏洪當(dāng)初的辛酸。一個發(fā)小在南京搞了一家科技公司，估值大幾千萬，同學(xué)都各種羨慕，可知大學(xué)期間從一張張傳單開始，從一個個快遞傳達(dá)。站在以及未來的牛逼，都是曾經(jīng)和現(xiàn)在的苦逼來吹的。1995年5月馬云回來之后中國第一家網(wǎng)站“中國黃頁”誕生，之后馬云孤注一擲做中國黃頁的理由:其實最大的決心并不是我對互聯(lián)網(wǎng)有很大的信心，而是我覺的做一件事，經(jīng)歷了是一種成功，你去闖一闖，不行你還可以掉頭，到時你不做了總是走老路子，就永遠(yuǎn)不可能有新的發(fā)展。知道想干什么，該干什么以后，再給自己說，我能干多久，我想干多久，這件事該干多久就干多久，一定要記住選擇大于努力，也不要選擇了而不去努力。

馬云說，是窮人還是富人，命運(yùn)是把握在自己手里的。人生像一截木頭，或者選擇熊熊燃燒，或者選擇慢慢腐朽。風(fēng)雨人生，淡然在心。年輕的時候不去冒險，等到老了，怎么會有精彩的故事說給后人聽呢?其實不斷冒險也是不斷認(rèn)識自己的過程，當(dāng)真正尋找到自己那一刻，你才會有屬于自己清晰的定位和想要的生活!關(guān)于貧富，很多人都認(rèn)為是命運(yùn)的不公，為什么別人的父母不是爆發(fā)富就是高官，而我卻出生在貧窮的家庭?為什么別人輕易就能成功，而我卻耗盡了我的一切，到頭來還是一場空?馬云作為中國最成功的商人之一，他對中國十幾億人影響深遠(yuǎn)。大浪淘沙，互聯(lián)網(wǎng)業(yè)淘汰了無數(shù)比馬云更強(qiáng)更聰明的英雄，而馬云能活下來，他當(dāng)然有不一樣的特點。作為一個成功的企業(yè)家，他有比一般人更前沿、準(zhǔn)確的商業(yè)判斷。那么2018年什么行業(yè)最暴利?馬云說，2018年這幾大行業(yè)最賺錢。

1，互聯(lián)網(wǎng)行業(yè)

馬云說，互聯(lián)網(wǎng)，移動互聯(lián)網(wǎng)已經(jīng)發(fā)展成為最重要的普惠基礎(chǔ)設(shè)施，中國已經(jīng)全面進(jìn)入網(wǎng)絡(luò)時代，不管你是企業(yè)還是個人不好好利用網(wǎng)絡(luò)早晚會被這個時代所淘汰。電商、微商、直播、自媒體、短視頻等等形形色色的創(chuàng)業(yè)模式不斷的發(fā)展涌現(xiàn)；人工智能、云計算、大數(shù)據(jù)等等新技術(shù)飛速發(fā)展，使人類社會進(jìn)去前所未有的新時代，超越歷史上任何時期？這是一個擁有無數(shù)機(jī)會的時代，人人可成功，個人可崛起。在這樣一個美好時代，你需要做的僅僅是努力而已，再無其他障礙！未來我們的生活會是什么樣子呢？我們設(shè)想一下，晚上帶著家人去吃飯，拿出手機(jī)點擊附件餐廳，看完餐廳介紹，對比之后，挑一家評價好的、好吃又實惠的餐廳，在手機(jī)上領(lǐng)取一張會員卡，定好座位，等時間到了，點擊導(dǎo)航，直接去吃飯，不用排隊。吃飯的時候，哪個好吃的就拍個照，放到微博或朋友圈，曬一曬，與朋友共享，因為以后朋友來這里吃飯的時候，憑著你的分享，朋友可以優(yōu)惠，商家還要給你返利，既能吃到好東西，分享又能賺錢，真的很愜意。吃完飯，去商場購物，看到哪個產(chǎn)品喜歡的，拿起來掃一下二維碼，用手機(jī)比比價，放入網(wǎng)絡(luò)購物車，逛完商場，在手機(jī)上點擊送貨時間和送貨地址，直接付款，不用拎東西，也不用排隊，然后去看電影，因為電影票在吃飯的時候已經(jīng)用手機(jī)買好了。。。這就是我們未來的生活，你覺得能實現(xiàn)嗎？我想很快！

2，共享經(jīng)濟(jì)

馬云揭秘，共享經(jīng)濟(jì)將迎來2018年的陽光和彩虹。因為轉(zhuǎn)型發(fā)展的強(qiáng)大需求、網(wǎng)民大國紅利、BATJ等互聯(lián)網(wǎng)巨頭在世界范圍內(nèi)的成功實踐，這些促進(jìn)共享經(jīng)濟(jì)發(fā)展的有力因素不僅沒有削弱，反而還在強(qiáng)化。共享經(jīng)濟(jì)在2017年的調(diào)整是為了2018年更好地發(fā)展，而2018年的共享經(jīng)濟(jì)發(fā)展將呈現(xiàn)出以下特點。一是共享經(jīng)濟(jì)將突破原有C2C的范疇，B2C趨勢將愈發(fā)凸顯。按照既有的共享經(jīng)濟(jì)定義——分享經(jīng)濟(jì)主要表現(xiàn)為利用網(wǎng)絡(luò)信息技術(shù)，通過互聯(lián)網(wǎng)平臺將分散資源進(jìn)行優(yōu)化配置，提高利用效率的新型經(jīng)濟(jì)形態(tài)，C2C或C2B的模式更符合共享經(jīng)濟(jì)發(fā)展的本意。但在實踐中，共享經(jīng)濟(jì)卻展現(xiàn)出越來越顯著的專業(yè)化、職業(yè)化趨勢，平臺直接參與資源提供或供給端主體小B化特征明顯，2018年這種趨勢將不會改變甚至更加明顯采用C2C或者說平臺模式的優(yōu)勢在于可以充分利用閑置資源，節(jié)約制造或生產(chǎn)成本，但劣勢在于難以標(biāo)準(zhǔn)化、體驗波動性大以及供給持續(xù)性不可控，而B2C模式卻可以克服上述劣勢問題，兩害相權(quán)取其輕，這便是緣何B2C模式在2018年仍將大行其道的原因。二是共享經(jīng)濟(jì)將從高頻標(biāo)準(zhǔn)化領(lǐng)域向?qū)I(yè)復(fù)雜化交易領(lǐng)域滲透，將從消費領(lǐng)域向生產(chǎn)領(lǐng)域滲透。從2C型的共享經(jīng)濟(jì)發(fā)展來看，供給端的門檻越低、產(chǎn)品越標(biāo)準(zhǔn)、消費者和使用者即時性下單需求越強(qiáng)、一部手機(jī)在家創(chuàng)業(yè)已經(jīng)幫助很多人一年時間實現(xiàn)月入十萬以上想創(chuàng)業(yè)請加 一八三零九六七六九七零使用頻次越高的領(lǐng)域，將越容易率先獲得成功。網(wǎng)約車行業(yè)就很符合這些特征，所以最先成為共享經(jīng)濟(jì)發(fā)展的標(biāo)桿。但在2018年，知識技能分享、在線教育、勞務(wù)分享等專業(yè)復(fù)雜化交易領(lǐng)域或?qū)⒊蔀樾碌娘L(fēng)口。目前來看，這些領(lǐng)域均有少則5~6家，多則10家以上的企業(yè)在經(jīng)營，而且融資輪次還遠(yuǎn)低于交通出行領(lǐng)域，未來這些領(lǐng)域有可能獲得風(fēng)險資本的追捧并通過競爭像交通出行領(lǐng)域那樣提升市場集中度。隨著寬帶中國戰(zhàn)略和智能制造2025的深入實施、“互聯(lián)網(wǎng)+”的廣泛應(yīng)用、供給側(cè)結(jié)構(gòu)性改革的持續(xù)推進(jìn)，2018年分享經(jīng)濟(jì)與實體經(jīng)濟(jì)的融合進(jìn)程將不斷加快，共享的基因?qū)⒃絹碓蕉嗟刈⑷氲綄嶓w企業(yè)的創(chuàng)立、用工、研發(fā)、設(shè)計、生產(chǎn)、銷售、服務(wù)等各個環(huán)節(jié)。共享經(jīng)濟(jì)作為一種新的經(jīng)濟(jì)模式，必然會存在諸多問題，比如與傳統(tǒng)行業(yè)的沖突，比如監(jiān)督方面的缺陷等，這些都是新生事物發(fā)展過程中的現(xiàn)象。共享經(jīng)濟(jì)的受歡迎程度超出想象。新的 2.0 版共享經(jīng)濟(jì)在帶來的低成本、低消耗同時，還將對產(chǎn)業(yè)的轉(zhuǎn)型升級提供基礎(chǔ)支撐，并極大地促進(jìn)就業(yè)。共享經(jīng)濟(jì)必將成為未來發(fā)展的主流趨勢。

未來五年保持40%的增長是完全沒有問題的。第二個，加速融合，就是分享經(jīng)濟(jì)與傳統(tǒng)經(jīng)濟(jì)，或者與實體企業(yè)融合不斷加深。第三個，重塑就業(yè)，要重新定義就業(yè)，將來靈活就業(yè)的比重五年之內(nèi)翻一番是沒有問題的。第四個，平臺型企業(yè)走向全球化布局和生態(tài)化的擴(kuò)張。咱們國家分享企業(yè)，像Airbnb和優(yōu)步國際企業(yè)不同特點，先從國內(nèi)發(fā)展走向國外的，目前大多數(shù)的企業(yè)全球化布局。生態(tài)性擴(kuò)張利用原有客戶資源，原有技術(shù)條件以及它的規(guī)模大數(shù)據(jù)基礎(chǔ)開始向別的方面去走。如果有一天某一家企業(yè)從住宿或者從交通出行出發(fā)的，現(xiàn)在干得事跟原來不一樣了不要太吃驚，未來怎么樣發(fā)展說不出來。第五個，協(xié)同監(jiān)管。將來要走向、政府企業(yè)、行業(yè)、第三方組織、第四方組織以及廣大用戶一起來協(xié)同監(jiān)管，這是一個大的發(fā)展模式。

培養(yǎng)狼性需做到:

第一：逮住機(jī)會，絕不手軟。這是狼勇于制勝的最優(yōu)秀的品質(zhì)之一。人類面對機(jī)會常常猶豫不決，瞻前顧后，畏首畏尾，而狼對每一個機(jī)會都絕不放過。機(jī)會對狼來說就同生存本身一樣重要!丟了機(jī)會就會丟了生存的可能性。

第二：面對強(qiáng)敵，絕對合作。狼的團(tuán)隊精神也是人類所不能企及的。在表面上看，它們也互相爭斗、互相競爭，甚至互相殘殺，但一旦遇到了強(qiáng)敵，它們便會很快結(jié)成同盟，互相配合，一致對外?？梢哉f，合作是狼族長盛不衰的絕妙法寶之一。

第三：堅韌不拔，絕不怠惰。在殘酷的環(huán)境面前，只有憑借堅韌不拔的意志，才能謀求生存和發(fā)展，稍有怠惰，就會面臨絕境。這一點，狼為我們做出了榜樣!從這一意義上說，狼的最大成功就是它的堅持精神!就是它那永不怠惰的進(jìn)取精神!

馬云機(jī)遇是人生的轉(zhuǎn)折點，每次的貴人提攜，每次的朋友幫助，等等都是機(jī)遇，這么多機(jī)遇都是平時朋友的積累，不斷積累善緣，友誼之花開花結(jié)果的時候，就是你機(jī)遇的開始，從現(xiàn)在起珍惜身邊的朋友，善待你的朋友，說不定那天你的機(jī)會就會在他的幫助下，功成名就。