前言

最近業(yè)余在做一個基于.NET Core的搜索項目，奈何基層代碼寫好了，沒有看起來很華麗的數(shù)據(jù)供測試。很巧的也是博客搜索，于是乎想到了博客園。C#也能做做頁面數(shù)據(jù)抓取的，不過在博客園看到的大部分都是python實現(xiàn)，所以就臨時想了一下看看python到底是什么東東，不看基礎(chǔ)語法，不看語言功能，直接上代碼，哪里不會搜哪里。代碼完成總共用時大概4個小時，其中搭建環(huán)境加安裝BeautifulSoup大概1個小時。解析HTML用時間最多了，邊看demo邊解析，大概2個小時，剩下的時間就是調(diào)試加保存數(shù)據(jù)了。

環(huán)境搭建

既然用python，那么自然少不了語言環(huán)境。于是乎到官網(wǎng)下載了3.5版本的。安裝完之后，隨機選擇了一個編輯器叫PyCharm，話說python編輯器還真挺多的。由于本人是小白，所以安裝事項不在過多贅述。

建好項目，打開編輯器，直接開工。本來之前用C#寫的時候，大體思路就是獲取網(wǎng)頁內(nèi)容，然后正則匹配。后來發(fā)現(xiàn)網(wǎng)上的帖子也很多。不過在搜索過程中發(fā)現(xiàn)，不建議用正則來匹配HTML。有正好我的正則不太好，所以我就搜了一下HTML解析工具，果不其然，人家都做好了，直接拿來用吧。沒錯就是這個東東：BeautifulSoup 。安裝也很簡單，不過中間出了個小插曲，就是bs4沒有。繼續(xù)搜，然后需要用pip安裝一下就好了。（當(dāng)然我并不知道ps4和pip是什么鬼）

思路分析

博客嗎，我當(dāng)然就對準(zhǔn)了博客園，于是乎，進(jìn)入博客園首頁，查看請求?！　?/p>

發(fā)送請求

當(dāng)然我不知道python是怎么進(jìn)行網(wǎng)絡(luò)請求的，其中還有什么2.0和3.0的不同，中間曲曲折折了不少，最終還是寫出了最簡單的一段請求代碼。　　

import urllib.parseimport urllib.request# params CategoryId=808 CategoryType=SiteHome ItemListActionName=PostList PageIndex=3 ParentCategoryId=0 TotalPostCount=4000def getHtml(url,values): user_agent='Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36' headers = {'User-Agent':user_agent} data = urllib.parse.urlencode(values) response_result = urllib.request.urlopen(url+'?'+data).read() html = response_result.decode('utf-8') return html#獲取數(shù)據(jù)def requestCnblogs(index): print('請求數(shù)據(jù)') url = 'http://cnblogs/mvc/AggSite/PostList.aspx' value= { 'CategoryId':808, 'CategoryType' : 'SiteHome', 'ItemListActionName' :'PostList', 'PageIndex' : index, 'ParentCategoryId' : 0, 'TotalPostCount' : 4000 } result = getHtml(url,value) return result

其實博客園這個請求還是挺標(biāo)準(zhǔn)的，哈哈正好適合抓取。因為他返回的就是一段html。（如果返回json那不是更好。。。。）

數(shù)據(jù)解析

上文已經(jīng)提到了，用到的是BeautifulSoup，好處就是不用自己寫正則，只要根據(jù)他的語法來寫就好了，在多次的測試之后終于完成了數(shù)據(jù)的解析。先上一段HTML。然后在對應(yīng)下面的代碼，也許看起來更輕松一些。

1

Python 字符串格式化

src="http://picblogs/face/795666/20160421231717.png" alt="" />

轉(zhuǎn)載請注明出處 Python2.6+ 增加了str.format函數(shù)，用來代替原有的'%'操作符

。它使用比'%'更加直觀、靈活。下面詳細(xì)介紹一下它的使用方法。 下面是使用'%'的例子: 格式很像C語言的printf是不是？由于'%'是一個操作符，只能在左右

兩邊各放一個參數(shù)，因此右邊多個值需要用元組或 ...

新月的力量_141

發(fā)布于 2017-02-19 23:07

評論(0)

閱讀

(138)

通過上文的HTML代碼可以看到幾點。首先每一條數(shù)據(jù)都在 p(class=”post_item”)下。然后 p(“post_item_body”)下有用戶信息，標(biāo)題，鏈接，簡介等信息。逐一根據(jù)樣式解析即可。代碼如下：

from bs4 import BeautifulSoupimport requestimport re#解析最外層def blogParser(index): cnblogs = request.requestCnblogs(index) soup = BeautifulSoup(cnblogs, 'html.parser') all_p = soup.find_all('p', attrs={'class': 'post_item_body'}, limit=20) blogs = [] #循環(huán)p獲取詳細(xì)信息 for item in all_p: blog = analyzeBlog(item) blogs.append(blog) return blogs#解析每一條數(shù)據(jù)def analyzeBlog(item): result = {} a_title = find_all(item,'a','titlelnk') if a_title is not None: # 博客標(biāo)題 result["title"] = a_title[0].string # 博客鏈接 result["href"] = a_title[0]['href'] p_summary = find_all(item,'p','post_item_summary') if p_summary is not None: # 簡介 result["summary"] = p_summary[0].text footers = find_all(item,'p','post_item_foot') footer = footers[0] # 作者 result["author"] = footer.a.string # 作者url result["author_url"] = footer.a['href'] str = footer.text time = re.findall(r"發(fā)布于 .+? .+? ", str) result["create_time"] = time[0].replace('發(fā)布于 ','') comment_str = find_all(footer,'span','article_comment')[0].a.string result["comment_num"] = re.search(r'd+', comment_str).group() view_str = find_all(footer,'span','article_view')[0].a.string result["view_num"] = re.search(r'd+', view_str).group() return resultdef find_all(item,attr,c): return item.find_all(attr,attrs={'class':c},limit=1)

上邊一堆代碼下來，著實花費了我不少時間，邊寫邊調(diào)試，邊百度~~不過還好最終還是出來了。等數(shù)據(jù)都整理好之后，然后我把它保存到了txt文件里面，以供其他語言來處理。本來想寫個put直接put到ElasticSearch中，奈何沒成功。后邊在試吧，畢竟我的重點只是導(dǎo)數(shù)據(jù)，不在抓取這里。

import matchimport osimport datetimeimport jsondef writeToTxt(list_name,file_path): try: #這里直接write item 即可，不要自己給序列化在寫入，會導(dǎo)致json格式不正確的問題 fp = open(file_path,"w+",encoding='utf-8') l = len(list_name) i = 0 fp.write('[') for item in list_name: fp.write(item) if i1: fp.write('\n') i += 1 fp.write(']') fp.close() except IOError: print("fail to open file")#def getStr(item):# return json.dumps(item).replace(''','"')+'\n'def saveBlogs(): for i in range(1,2): print('request for '+str(i)+'...') blogs = match.blogParser(i,5) #保存到文件 path = createFile() writeToTxt(blogs,path+'/blog_'+ str(i) +'.json') print('第'+ str(i) +'頁已經(jīng)完成') return 'success'def createFile(): date = datetime.datetime.now().strftime('%Y-%m-%d') path = '/'+date if os.path.exists(path): return path else: os.mkdir(path) return pathresult = saveBlogs()print(result)

上邊呢，我取了一百頁的數(shù)據(jù)，也就是大概2000條做測試。

成果驗收

廢了好大勁終于寫完那些代碼之后呢，就可以享受勝利的果實了，雖然是初學(xué)者，代碼寫的很渣，這參考一下，那參考一下，不過還是有些收獲的。運行效果如下：

生成的文件：

文件內(nèi)容：

總結(jié)

一個簡單的抓取程序就寫完了，python還真是TM的好用。以后有空再研究研究吧。代碼行數(shù)算上空行和注釋總共 100 （50+25+25） 行。湊個整數(shù)好看點~~現(xiàn)在認(rèn)識字我感覺就可以上手寫程序了。這里百度一下，那里google一下，問題就解決了，程序也出來了，大功告成。

是時候該和python暫時告別了，繼續(xù)我的.NET事業(yè)。話說上次做rss采集的時候，好多“.NET要完蛋了”，“為什么我們不招.NET” 是什么鬼。 小伙伴們，下次見。

多學(xué)點，總不會吃虧的。

互聯(lián)網(wǎng)的發(fā)展越來越受到重視，世界五百強企業(yè)會出現(xiàn)更多互聯(lián)網(wǎng)公司。你知道哪家互聯(lián)網(wǎng)公司最受程序員歡迎嗎？

根據(jù)IT人才招聘的趨勢分析，大家可以看看關(guān)于IT從業(yè)的數(shù)據(jù)分析：

在全部招聘職位中，網(wǎng)絡(luò)游戲和電子商務(wù)領(lǐng)域的招聘需求排名前列。此外，作為跨領(lǐng)域的新寵，互聯(lián)網(wǎng)金融的招聘需求有明顯增長，占到全部職位的7.4%。具體數(shù)據(jù)如下：

對于很多人更為關(guān)心的薪酬問題，在全部招聘職位中，企業(yè)對于“高級工程師”、“工程師”的招聘需求最大，其對應(yīng)的平均年薪則分別為31.3萬和19.0萬。技術(shù)人才是企業(yè)發(fā)展的根本，為了使產(chǎn)品發(fā)展得更好，不少企業(yè)愿意高薪聘請工程師。

下面，我們來看看最受程序員歡迎的10家互聯(lián)網(wǎng)公司都招什么Python崗位：

58同城、美團(tuán)

崗位職責(zé)： 1. 負(fù)責(zé)云數(shù)據(jù)庫/云主機控制平面研發(fā)工作 2. 加強平臺管理和控制功能，提升資源交付和管理效率

崗位要求：

1. 熟練使用Python，能寫出漂亮的Pythonic的代碼；

2. 極強的學(xué)習(xí)能力和動力，對未知技術(shù)和領(lǐng)域能快速掌握并實踐；

3. 熟練掌握操作系統(tǒng)原理，Internet網(wǎng)絡(luò)原理；

4. 有云平臺開發(fā)、自動運維平臺開發(fā)等大型Python項目經(jīng)驗者優(yōu)先；

5. 在開源社群活躍并有積極貢獻(xiàn)者優(yōu)先。

奇虎360

職位描述：

支持公司內(nèi)部安全體系建設(shè)

信息安全系統(tǒng)及安全運營工具的開發(fā)。

內(nèi)網(wǎng)流量的分析處理，內(nèi)部安全的追蹤和處理等

任職要求：

1.2年以上Python開發(fā)經(jīng)驗，熟悉Django框架開發(fā)

2.精通linux系統(tǒng)、熟悉MySQL/MongoDB數(shù)據(jù)庫、網(wǎng)絡(luò)編程。

3.具有服務(wù)器部署及運維經(jīng)驗，熟悉Nginx、Virtualenv、uWSGI等

4.擁有自己通過Google或者StackOverflow解決問題的能力

5.具備良好的分析解決問題能力，能獨立承擔(dān)任務(wù)和有系統(tǒng)進(jìn)度的把控能力。

汽車之家

薪資：15k-25k

職位描述：

該職位主要負(fù)責(zé)監(jiān)控平臺的架構(gòu)設(shè)計和開發(fā)工作，包括但不限于“網(wǎng)絡(luò)質(zhì)量和流量分析”，“自動故障定位”，“故障自愈”，“大數(shù)據(jù)分析”等等方面。

職位要求：

1、本科及以上學(xué)歷，3年及以上相關(guān)領(lǐng)域工作經(jīng)驗；

2、勤于溝通，喜歡協(xié)作，懂得如何共識目標(biāo)，必須有嚴(yán)謹(jǐn)?shù)墓ぷ黠L(fēng)格；

3、熟悉Python或Golang，熟練使用MySQL/MongoDB/HDFS/HBase/OpenTSDB等數(shù)據(jù)庫或者文件系統(tǒng)，有調(diào)優(yōu)經(jīng)驗者優(yōu)先；

4、熟悉Zabbix，Open-Falcon原理和使用方法者優(yōu)先；

5、有高并發(fā)、高性能、大數(shù)據(jù)等應(yīng)用架構(gòu)及開發(fā)經(jīng)驗者優(yōu)先；

6、有運維經(jīng)驗者優(yōu)先；

7、有獨立需求分析和方案設(shè)計能力者優(yōu)先。

搜狐暢游

薪資：20k-35k

職位需求： - 統(tǒng)招本科及以上學(xué)歷，計算機相關(guān)專業(yè)者優(yōu)先； - 1年以上Python Web開發(fā)工作經(jīng)驗； - 精通Python，至少熟練掌握一款Python Web框架及一款模板引擎； - 熟悉使用Linux/mysql/redis； - 遵循PEP8/DRY/KISS原則編碼； - 有Code Review的習(xí)慣，注重單元測試，熟悉TDD開發(fā)模式更佳； - 良好的學(xué)習(xí)能力和強烈的進(jìn)取心、責(zé)任心； - 良好的溝通能力及團(tuán)隊合作精神。

加分項：

- 對開源技術(shù)有強烈的興趣和愛好，擁有或參與過github開源項目，向開發(fā)者報告過Bug或者貢獻(xiàn)過Patch；

- 熟悉I/O multiplex / IOCP編程；

- 在bash/lisp/lua方面有開發(fā)經(jīng)驗；

- 熟悉HTML5，在canvas/webGL/css3 animation方面有過實際項目開發(fā)經(jīng)驗；

- 熟悉分布式系統(tǒng)設(shè)計優(yōu)先。

完美世界

薪資：15k-35k

工作內(nèi)容：

1 負(fù)責(zé)解析HTML文本，結(jié)構(gòu)化數(shù)據(jù)

2 負(fù)責(zé)數(shù)據(jù)清洗工作

3 參與爬蟲腳本的開發(fā)工作

崗位要求：

1 計算機相關(guān)專業(yè)，本科以上學(xué)歷

2 有一年以上相關(guān)工作經(jīng)驗

3 熟悉正則表達(dá)式、html的基本標(biāo)簽

4 熟悉mongodb,json，熟悉linux常用命令，以及虛擬機

5 熟悉BeautifulSoup優(yōu)先， 熟悉機器學(xué)習(xí)算法優(yōu)先，熟悉 aws 云服務(wù)優(yōu)先

唯品會

薪資：15k-25k

崗位職責(zé)：

1、參與公司基于 OpenStack 的 IaaS 平臺開發(fā)工作；

2、負(fù)責(zé)云平臺服務(wù)端模塊的開發(fā)；

3、解決部署實施過程中出現(xiàn)的問題；

4、能快速滿足不斷變化的 SaaS/MSS 業(yè)務(wù)提出的 IaaS 需求、應(yīng)對大

數(shù)據(jù)所帶來的技術(shù)挑戰(zhàn)；

5、對業(yè)界領(lǐng)先的技術(shù)和平臺進(jìn)行研究、測試，并且能夠應(yīng)用在實際

環(huán)境中；

任職要求：

1、兩年以上云開發(fā)（OpenStack）相關(guān)研發(fā)工作經(jīng)驗；

2、精通 Python 語言；

3、熟悉 REST 接口的開發(fā)；

4、熟悉 MySQL 數(shù)據(jù)庫的設(shè)計及使用；

5、熟悉高級消息管理協(xié)議，如 RabbitMQ、QPID；

6、熟練使用 Linux 系統(tǒng)，熟悉各種 Linux 命令的使用，能夠在 Linux

環(huán)境下進(jìn)行開發(fā)工作，對虛擬化技術(shù)有一定的了解；

7、良好的代碼開發(fā)風(fēng)格及開發(fā)習(xí)慣；

8、熟悉敏捷開發(fā)流程；

9、熟練使用 Git 版本控制工具；

10、具備良好的英文資料閱讀和理解能力；

11、了解開源項目，有 OpenStack，CloudStack，Hadoop 開發(fā)經(jīng)驗優(yōu)

先。

12、溝通能力，自學(xué)能力強，有強烈的求知欲，有獨立解決分析、解

決問題的能力，良好的團(tuán)隊合作意識；

小米科技

薪資：15k-25k

工作職責(zé)

1.負(fù)責(zé)內(nèi)部管理平臺的開發(fā)和維護(hù)

2.負(fù)責(zé)支撐業(yè)務(wù)的其他項目的開發(fā)和維護(hù)

3.編寫相應(yīng)的單元測試

職位要求

1.兩年以上 Python 項目開發(fā)工作經(jīng)驗，熟悉 Django/Flask 等框架

2.熟悉 MySQL、Redis，能熟練進(jìn)行數(shù)據(jù)庫設(shè)計與優(yōu)化

3.擁有良好的代碼習(xí)慣，結(jié)構(gòu)清晰，命名規(guī)范，邏輯性強

4.熟練使用 Git，熟悉 Pull Request 工作流

5.熟悉 Python 常用的代碼檢測工具如：Flake8、Pylint

6.善于思考，能獨立分析和解決問題

7.責(zé)任心強，具備良好的團(tuán)隊合作精神和承受壓力的能力

攜程

薪資：15k-25k

Python開發(fā)工程師：

1. 負(fù)責(zé)運維平臺設(shè)計及開發(fā)，實現(xiàn)運維自動化和運維效率的提高 2. 幫助開發(fā)團(tuán)隊改進(jìn)開發(fā)流程和效率 3. 與運維團(tuán)隊合作，收集需求，改善運維流程，實現(xiàn)各種運維工具，提高運行維護(hù)作業(yè)水平 4. 負(fù)責(zé)網(wǎng)站監(jiān)控系統(tǒng)、數(shù)據(jù)收集和數(shù)據(jù)分析等系統(tǒng)的開發(fā) 5. 結(jié)合虛擬化技術(shù)，打造和完善攜程云平臺

職位要求： 1. 本科以上學(xué)歷，計算機相關(guān)專業(yè) 2. 有較強的溝通協(xié)調(diào)能力，工作認(rèn)真細(xì)致，良好的團(tuán)隊合作精神，積極主動的工作態(tài)度 3. 具備良好的編程習(xí)慣，熟悉常用算法和設(shè)計模式 4. 熟悉Windows/Linux系統(tǒng)，掌握操作系統(tǒng)基本命令，軟件安裝方法、配置方法 5. 熟悉Web相關(guān)服務(wù)和Web開發(fā)，熟悉IIS/Apache/Tomcat/NoSQL

以下是加分項：

6. 熟悉大型網(wǎng)站運維工作，有運維開發(fā)經(jīng)驗者優(yōu)先；

7. 有CMDB/monitoring system/agent/automation系統(tǒng)設(shè)計與開發(fā)經(jīng)驗者優(yōu)先

8. 熟悉Puppet/Zabbix/Celery/RabbitMQ優(yōu)先

9. 熟悉Python/Django/Tornaod優(yōu)先

10. 熟悉前端開發(fā)(XHTML/JQuery/CSS)優(yōu)先

11. 對OpenStack熟悉者優(yōu)先

優(yōu)酷土豆

薪資：15k-25k

崗位職責(zé)：

1、精通Python，負(fù)責(zé)網(wǎng)站開發(fā)及功能測試，Python功能模塊的實現(xiàn)以及相關(guān)代碼優(yōu)化，Python系統(tǒng)分析以及通用類庫開發(fā)，框架編寫。

2、負(fù)責(zé)公司網(wǎng)站的維護(hù)和升級，優(yōu)化完善系統(tǒng)功能；

3、負(fù)責(zé)網(wǎng)站后臺程序以及數(shù)據(jù)庫的運營和維護(hù)，能獨立完成網(wǎng)站后臺運維工作，并不斷改進(jìn)。

崗位要求：

1.熟悉python語言服務(wù)端開發(fā)，一年以上開發(fā)經(jīng)驗。

2.熟悉django/tornado等python框架，有大并發(fā)項目經(jīng)驗優(yōu)先。

3.熟悉redis等緩存技術(shù)。

4.熟悉mysql數(shù)據(jù)庫開發(fā)與優(yōu)化。

5.有良好的編程理念和項目架構(gòu)設(shè)計。

6.良好的自我驅(qū)動與學(xué)習(xí)能力。

寫在最后

前幾天有私信小編要Python的學(xué)習(xí)資料，小編整理了一些有深度的Python教程和參考資料，從入門到高級的都有，文件已經(jīng)打包好了，正在學(xué)習(xí)Python的同學(xué)可以下載學(xué)習(xí)學(xué)習(xí)。文件下載方式：點擊小編頭像，關(guān)注后私信回復(fù)“資料”即可下載。首先把代碼擼起來！首先把代碼擼起來！首先把代碼擼起來！重要的事說三遍，哈哈?！熬幊淌情T手藝活”。什么意思？得練啊。

想動手寫寫自己的經(jīng)歷，希望對更多的像我一樣想轉(zhuǎn)行自學(xué)的年輕人的一些幫助。和一些鼓勵吧。

1. 為什么想換工作

我的大概情況是，本科專業(yè)建筑環(huán)境與設(shè)備工程，16年7月畢業(yè)，同學(xué)很多去了工地。我的話，受不了工地居無定所，去了制造業(yè)。

制造業(yè)確實環(huán)境不好，雖然我的崗位是研發(fā)工程師，但是經(jīng)常要在車間干體力活車間，累的滿頭大汗，跟車間的大媽大叔撕逼。

不管是自然環(huán)境還是人文環(huán)境，只能用惡劣來形容吧。而且我們是單休，動不動就加班，最扯淡的是加班是沒有錢的。但凡節(jié)假日一般放一天，國企兩天，搞笑的是周日值班一天，給32塊錢。

看到我們辦公室里面三十幾歲的男生還沒有女朋友，還有即使有女朋友的還在住員工宿舍，而且有的快十年的工作經(jīng)驗，還出國待過，現(xiàn)在月薪不到1w。

想到七八年以后我的生活是這樣，我就惶恐不安，我覺得我七八年后不要過這樣的生活。

于是決心轉(zhuǎn)行，瞄準(zhǔn)IT行業(yè)。理由很簡單，從業(yè)環(huán)境好，工作內(nèi)容沒有體力活(ps:相對于體力勞動，我更喜歡腦力勞動)，相同的努力下，錢比制造業(yè)多，而且現(xiàn)在各個行業(yè)都與互聯(lián)網(wǎng)相關(guān)。

2. 如何提前準(zhǔn)備

從去年也就是11月開始自學(xué)數(shù)據(jù)分析的一些課程。當(dāng)時由于沒有計算機基礎(chǔ)，走了不少彎路，看了一些教程，東拼西湊，感覺亂七八糟。

甚至有一段時間，我不斷懷疑自己，放棄大學(xué)四年的知識，現(xiàn)在不做傳統(tǒng)行業(yè)的研發(fā)，轉(zhuǎn)身去接觸一個新的東西是不是對的？

那段時間，我認(rèn)識了一些數(shù)據(jù)分析崗位的在職者，年齡不大。有個同學(xué)就建議我先做python開發(fā)，再做數(shù)據(jù)分析，（因為他說數(shù)據(jù)分析如何如何難，機器學(xué)習(xí)算法都是大牛玩兒的）我當(dāng)時猶豫了很久，還自學(xué)了Django教程，前端知識，http協(xié)議，去熟悉Linux。準(zhǔn)備去找python開發(fā)的職位（其實我對軟件開發(fā)不感冒）。

后來，我在“得到” 上看了兩篇文章，至今對我很有啟發(fā)。

第一篇文章《轉(zhuǎn)行》說了以下重點：

1. 尋找一個導(dǎo)師導(dǎo)師可以降低你加入一個新行業(yè)的成本，幫助你熟悉環(huán)境和行業(yè)規(guī)則，也會鼓勵你完成心理方面的轉(zhuǎn)變。2. 建立新的社交網(wǎng)絡(luò)過去的人脈關(guān)系會阻礙你的轉(zhuǎn)行，因為他們是以過去對你的認(rèn)知來評價你。新領(lǐng)域的人脈，會給你提供各種各樣新的機會和情感支持，幫助你融入。

第二篇文章《職場人終身學(xué)習(xí)心法》歸納下：

首先，如果想系統(tǒng)地學(xué)習(xí)，那就建議選擇系統(tǒng)的渠道。既然在這個領(lǐng)域你是新手，就不要指望自己能把散落的信息整合成系統(tǒng)了，那是高手要做的事情。要想系統(tǒng)地學(xué)習(xí)，那就踏踏實實地拿出幾個月的時間來，看5本這個領(lǐng)域的經(jīng)典書，選一門系統(tǒng)課，或者跟著一個系統(tǒng)學(xué)習(xí)過的老師把這個領(lǐng)域的骨架摸清楚。你又不比別人聰明幾倍，卻想用幾分之一的時間，就掌握人家花了好長時間下了硬功夫，系統(tǒng)掌握的知識，怎么可能呢？先接受一個已經(jīng)存在的系統(tǒng)，再在上面修修改改，對于新手是最適合的方案。

用3句話來總結(jié)一下上面兩篇文章：

1. 轉(zhuǎn)行最好有人帶、有人指導(dǎo)2. 去認(rèn)識做大數(shù)據(jù)這塊的人，否則身邊的人脈關(guān)系會不斷否定你，打擊你（以及要說服女朋友支持你折騰，如果有的話?。?.系統(tǒng)學(xué)習(xí)，要幾個月，不要貪多，要扎扎實實看書

這樣一看，我就明白多了，并且知道該怎么做了。

第一的話，我想轉(zhuǎn)行做數(shù)據(jù)分析這塊的，我過去的背景與此相差太遠(yuǎn)。現(xiàn)在的話，我只有堅持終身學(xué)習(xí)，系統(tǒng)學(xué)習(xí)，要看書，好好啃。

第二的話，你可以加我扣扣一六二二中間四七九最后四三五一起學(xué)習(xí)，分享我的視頻資料給你，不失為一個明智的選擇。

當(dāng)然，上面的建議是建立在你下決心要轉(zhuǎn)行的基礎(chǔ)上。先問問自己下面幾個問題：

喜歡不喜歡轉(zhuǎn)行后的工作？評估自己轉(zhuǎn)行的優(yōu)勢與劣勢？問問自己為什么不待在現(xiàn)在的行業(yè)了？自己是不是有很強的自我驅(qū)動力？自己是不是能保持終身學(xué)習(xí)？自己搜集信息和整合信息的能力是不是很強？自己是不是不怕失敗？轉(zhuǎn)行失敗了，我拿什么保底？

把這些令人焦慮和令人害怕的事情考慮清楚，再去做決定，我要不要轉(zhuǎn)行。這些問題你想清楚了，就清除了學(xué)習(xí)的道路上的精神障礙。

學(xué)習(xí)的那段時間，我基本上學(xué)習(xí)每天3-5小時。我們是單休，周日的話，我陪著女友。（此處撒了狗糧）。其實每個星期也就平均30小時左右。加上在辦公室沒有事情的情況下，我給工作的電腦裝了某些軟件，看看東西，用有道云筆記記錄。

基本上，這幾個月，先后看了《python核心編程》《利用python進(jìn)行數(shù)據(jù)分析》《R語言實戰(zhàn)》 ，還看了SQL的一些教程，以及一些數(shù)據(jù)分析師需要的思維。最后面試的時候，掌握的技能，SQL，python，R。會一點簡單的爬蟲，懂點Linux。

但是但是，每一個我都掌握的很淺，書我都只看了一半。像一些復(fù)雜的算法，我還不能深入的理解。

3. 我是這樣辭職面試的

自己2月28號辭職流程走完，是直接裸辭了，當(dāng)時很多人勸我不要沖動，不要裸辭，沒想到辭職以后整個神清氣爽。

我自己認(rèn)為不能等完全學(xué)好了再去找，到那時候黃花菜都涼了，畢竟世上的事情都沒有那么多時間讓你去準(zhǔn)備好的，而且17屆的馬上也畢業(yè)出來了，到時候再去會更加尷尬。

辭職以后，3月5號來到深圳。密集的面試維持了兩周，幾乎天天出去面試，還有就是面試的時候，會被打臉的，問一些技術(shù)細(xì)節(jié)，以及沒有工作經(jīng)驗。我是很直接就告訴面試官，我就是要轉(zhuǎn)行的，我沒有這塊的工作經(jīng)驗。

面試主要是兩塊，一塊是考察你的思維，還有一塊是考察你的技術(shù)細(xì)節(jié)。期間面試的比較有名的公司有平安銀行，ofo，鏈家網(wǎng)。拿了3個offer。但是其他兩個都是大小周加班，我都沒有選擇?，F(xiàn)在的公司是做互聯(lián)網(wǎng)金融的。

4. 轉(zhuǎn)行后的我是這樣的

我之前在制造業(yè)，現(xiàn)在出來找工作，特別在意是不是雙休，五險一金有沒有給我交全（之前公司是沒有一金的），節(jié)假日是不是正常放假。

現(xiàn)在的話，這個公司制度是，不鼓勵員工加班，基本一下班，辦公室人幾乎走光。我自己也走啦，回來以后繼續(xù)學(xué)習(xí)。

每天對著電腦上班，確實比之前的工作累好多。但是還是感覺比之前工作狀態(tài)好太多。

還有就是未來的領(lǐng)導(dǎo)很重要，我面試時候都會跟領(lǐng)導(dǎo)聊聊，看看領(lǐng)導(dǎo)人咋樣，問問公司氛圍咋樣，這樣對自己進(jìn)入以后就非常有益。

待遇這塊是比以前的工作好一些的?？紤]到還要在深圳租房子，每個月剩不了多少。但是每天下班回來自己煮飯，吃的很飽，就很開心。周末的話，和女友在一起煮飯。這個周末我倆煮了雞湯。

自己的話也知道自己水平，雖然已經(jīng)入職了，但是像自己很菜鳥的，老大讓我用python連個數(shù)據(jù)庫，我連了一下午才搞定。還讓我用python寫個excel數(shù)據(jù)透視的自動化報表，憋了一天了，我的代碼還沒出來。現(xiàn)在來看，轉(zhuǎn)行也只是進(jìn)行了一半，因為后面還要繼續(xù)學(xué)的很多啊。

新公司用的SAS，我現(xiàn)在又開始看SAS了。老大也一直跟我強調(diào)，工具只是用來解決問題的，如果你有更好的辦法就去嘗試，數(shù)據(jù)分析思維是很重要的。不過我的老大，人非常好，也愿意教我。

后面的路還很長，希望自己一直堅持，一直加油。做一個終身學(xué)習(xí)者。

關(guān)于轉(zhuǎn)行的話，確實很難，可能會交不起房租，像我現(xiàn)在就是窮的一塌糊涂，不過幸好有個女朋友哈哈，沒錢了問她要。而且影響因素是多方面的，希望各位要轉(zhuǎn)行的寶寶一定要慎重，想清楚。其次，就是一定要堅持學(xué)習(xí)，不要懷疑自己，狀態(tài)要好。

下面這個是以前的工作環(huán)境。辦公室在旁邊的小房子里面。

下面是新公司的辦公環(huán)境，瞬間覺得轉(zhuǎn)行后生活很美好。沒在制造業(yè)和工地待過的人是無法體會這種改變的，自然環(huán)境和人文環(huán)境簡直是質(zhì)的飛躍啊。

轉(zhuǎn)行以后的生活

生活在于等待。有時候幸?？赡軙睃c到來， 未來越來越好，用知識賺錢，我們一路同行，你并不孤單。

歡迎評論?。。?！

一起交流?。。?！

一起學(xué)習(xí)?。。?！

前言

最近業(yè)余在做一個基于.NET Core的搜索項目，奈何基層代碼寫好了，沒有看起來很華麗的數(shù)據(jù)供測試。很巧的也是博客搜索，于是乎想到了博客園。C#也能做做頁面數(shù)據(jù)抓取的，不過在博客園看到的大部分都是python實現(xiàn)，所以就臨時想了一下看看python到底是什么東東，不看基礎(chǔ)語法，不看語言功能，直接上代碼，哪里不會搜哪里。代碼完成總共用時大概4個小時，其中搭建環(huán)境加安裝BeautifulSoup大概1個小時。解析HTML用時間最多了，邊看demo邊解析，大概2個小時，剩下的時間就是調(diào)試加保存數(shù)據(jù)了。

環(huán)境搭建

既然用python，那么自然少不了語言環(huán)境。于是乎到官網(wǎng)下載了3.5版本的。安裝完之后，隨機選擇了一個編輯器叫PyCharm，話說python編輯器還真挺多的。由于本人是小白，所以安裝事項不在過多贅述。

建好項目，打開編輯器，直接開工。本來之前用C#寫的時候，大體思路就是獲取網(wǎng)頁內(nèi)容，然后正則匹配。后來發(fā)現(xiàn)網(wǎng)上的帖子也很多。不過在搜索過程中發(fā)現(xiàn)，不建議用正則來匹配HTML。有正好我的正則不太好，所以我就搜了一下HTML解析工具，果不其然，人家都做好了，直接拿來用吧。沒錯就是這個東東：BeautifulSoup 。安裝也很簡單，不過中間出了個小插曲，就是bs4沒有。繼續(xù)搜，然后需要用pip安裝一下就好了。（當(dāng)然我并不知道ps4和pip是什么鬼）

思路分析

博客嗎，我當(dāng)然就對準(zhǔn)了博客園，于是乎，進(jìn)入博客園首頁，查看請求?！　?/p>

發(fā)送請求

當(dāng)然我不知道python是怎么進(jìn)行網(wǎng)絡(luò)請求的，其中還有什么2.0和3.0的不同，中間曲曲折折了不少，最終還是寫出了最簡單的一段請求代碼?！　?/p>

import urllib.parseimport urllib.request# params CategoryId=808 CategoryType=SiteHome ItemListActionName=PostList PageIndex=3 ParentCategoryId=0 TotalPostCount=4000def getHtml(url,values): user_agent='Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36' headers = {'User-Agent':user_agent} data = urllib.parse.urlencode(values) response_result = urllib.request.urlopen(url+'?'+data).read() html = response_result.decode('utf-8') return html#獲取數(shù)據(jù)def requestCnblogs(index): print('請求數(shù)據(jù)') url = 'http://cnblogs/mvc/AggSite/PostList.aspx' value= { 'CategoryId':808, 'CategoryType' : 'SiteHome', 'ItemListActionName' :'PostList', 'PageIndex' : index, 'ParentCategoryId' : 0, 'TotalPostCount' : 4000 } result = getHtml(url,value) return result

其實博客園這個請求還是挺標(biāo)準(zhǔn)的，哈哈正好適合抓取。因為他返回的就是一段html。（如果返回json那不是更好。。。。）

數(shù)據(jù)解析

上文已經(jīng)提到了，用到的是BeautifulSoup，好處就是不用自己寫正則，只要根據(jù)他的語法來寫就好了，在多次的測試之后終于完成了數(shù)據(jù)的解析。先上一段HTML。然后在對應(yīng)下面的代碼，也許看起來更輕松一些。

1

Python 字符串格式化

src="http://picblogs/face/795666/20160421231717.png" alt="" />

轉(zhuǎn)載請注明出處 Python2.6+ 增加了str.format函數(shù)，用來代替原有的'%'操作符

。它使用比'%'更加直觀、靈活。下面詳細(xì)介紹一下它的使用方法。 下面是使用'%'的例子: 格式很像C語言的printf是不是？由于'%'是一個操作符，只能在左右

兩邊各放一個參數(shù)，因此右邊多個值需要用元組或 ...

新月的力量_141

發(fā)布于 2017-02-19 23:07

評論(0)

閱讀

(138)

通過上文的HTML代碼可以看到幾點。首先每一條數(shù)據(jù)都在 p(class=”post_item”)下。然后 p(“post_item_body”)下有用戶信息，標(biāo)題，鏈接，簡介等信息。逐一根據(jù)樣式解析即可。代碼如下：

from bs4 import BeautifulSoupimport requestimport re#解析最外層def blogParser(index): cnblogs = request.requestCnblogs(index) soup = BeautifulSoup(cnblogs, 'html.parser') all_p = soup.find_all('p', attrs={'class': 'post_item_body'}, limit=20) blogs = [] #循環(huán)p獲取詳細(xì)信息 for item in all_p: blog = analyzeBlog(item) blogs.append(blog) return blogs#解析每一條數(shù)據(jù)def analyzeBlog(item): result = {} a_title = find_all(item,'a','titlelnk') if a_title is not None: # 博客標(biāo)題 result["title"] = a_title[0].string # 博客鏈接 result["href"] = a_title[0]['href'] p_summary = find_all(item,'p','post_item_summary') if p_summary is not None: # 簡介 result["summary"] = p_summary[0].text footers = find_all(item,'p','post_item_foot') footer = footers[0] # 作者 result["author"] = footer.a.string # 作者url result["author_url"] = footer.a['href'] str = footer.text time = re.findall(r"發(fā)布于 .+? .+? ", str) result["create_time"] = time[0].replace('發(fā)布于 ','') comment_str = find_all(footer,'span','article_comment')[0].a.string result["comment_num"] = re.search(r'd+', comment_str).group() view_str = find_all(footer,'span','article_view')[0].a.string result["view_num"] = re.search(r'd+', view_str).group() return resultdef find_all(item,attr,c): return item.find_all(attr,attrs={'class':c},limit=1)

上邊一堆代碼下來，著實花費了我不少時間，邊寫邊調(diào)試，邊百度~~不過還好最終還是出來了。等數(shù)據(jù)都整理好之后，然后我把它保存到了txt文件里面，以供其他語言來處理。本來想寫個put直接put到ElasticSearch中，奈何沒成功。后邊在試吧，畢竟我的重點只是導(dǎo)數(shù)據(jù)，不在抓取這里。

import matchimport osimport datetimeimport jsondef writeToTxt(list_name,file_path): try: #這里直接write item 即可，不要自己給序列化在寫入，會導(dǎo)致json格式不正確的問題 fp = open(file_path,"w+",encoding='utf-8') l = len(list_name) i = 0 fp.write('[') for item in list_name: fp.write(item) if i1: fp.write('\n') i += 1 fp.write(']') fp.close() except IOError: print("fail to open file")#def getStr(item):# return json.dumps(item).replace(''','"')+'\n'def saveBlogs(): for i in range(1,2): print('request for '+str(i)+'...') blogs = match.blogParser(i,5) #保存到文件 path = createFile() writeToTxt(blogs,path+'/blog_'+ str(i) +'.json') print('第'+ str(i) +'頁已經(jīng)完成') return 'success'def createFile(): date = datetime.datetime.now().strftime('%Y-%m-%d') path = '/'+date if os.path.exists(path): return path else: os.mkdir(path) return pathresult = saveBlogs()print(result)

上邊呢，我取了一百頁的數(shù)據(jù)，也就是大概2000條做測試。

成果驗收

廢了好大勁終于寫完那些代碼之后呢，就可以享受勝利的果實了，雖然是初學(xué)者，代碼寫的很渣，這參考一下，那參考一下，不過還是有些收獲的。運行效果如下：

生成的文件：

文件內(nèi)容：

總結(jié)

一個簡單的抓取程序就寫完了，python還真是TM的好用。以后有空再研究研究吧。代碼行數(shù)算上空行和注釋總共 100 （50+25+25） 行。湊個整數(shù)好看點~~現(xiàn)在認(rèn)識字我感覺就可以上手寫程序了。這里百度一下，那里google一下，問題就解決了，程序也出來了，大功告成。

是時候該和python暫時告別了，繼續(xù)我的.NET事業(yè)。話說上次做rss采集的時候，好多“.NET要完蛋了”，“為什么我們不招.NET” 是什么鬼。 小伙伴們，下次見。

多學(xué)點，總不會吃虧的。

互聯(lián)網(wǎng)的發(fā)展越來越受到重視，世界五百強企業(yè)會出現(xiàn)更多互聯(lián)網(wǎng)公司。你知道哪家互聯(lián)網(wǎng)公司最受程序員歡迎嗎？

根據(jù)IT人才招聘的趨勢分析，大家可以看看關(guān)于IT從業(yè)的數(shù)據(jù)分析：

在全部招聘職位中，網(wǎng)絡(luò)游戲和電子商務(wù)領(lǐng)域的招聘需求排名前列。此外，作為跨領(lǐng)域的新寵，互聯(lián)網(wǎng)金融的招聘需求有明顯增長，占到全部職位的7.4%。具體數(shù)據(jù)如下：

對于很多人更為關(guān)心的薪酬問題，在全部招聘職位中，企業(yè)對于“高級工程師”、“工程師”的招聘需求最大，其對應(yīng)的平均年薪則分別為31.3萬和19.0萬。技術(shù)人才是企業(yè)發(fā)展的根本，為了使產(chǎn)品發(fā)展得更好，不少企業(yè)愿意高薪聘請工程師。

下面，我們來看看最受程序員歡迎的10家互聯(lián)網(wǎng)公司都招什么Python崗位：

58同城、美團(tuán)

崗位職責(zé)： 1. 負(fù)責(zé)云數(shù)據(jù)庫/云主機控制平面研發(fā)工作 2. 加強平臺管理和控制功能，提升資源交付和管理效率

崗位要求：

1. 熟練使用Python，能寫出漂亮的Pythonic的代碼；

2. 極強的學(xué)習(xí)能力和動力，對未知技術(shù)和領(lǐng)域能快速掌握并實踐；

3. 熟練掌握操作系統(tǒng)原理，Internet網(wǎng)絡(luò)原理；

4. 有云平臺開發(fā)、自動運維平臺開發(fā)等大型Python項目經(jīng)驗者優(yōu)先；

5. 在開源社群活躍并有積極貢獻(xiàn)者優(yōu)先。

奇虎360

職位描述：

支持公司內(nèi)部安全體系建設(shè)

信息安全系統(tǒng)及安全運營工具的開發(fā)。

內(nèi)網(wǎng)流量的分析處理，內(nèi)部安全的追蹤和處理等

任職要求：

1.2年以上Python開發(fā)經(jīng)驗，熟悉Django框架開發(fā)

2.精通linux系統(tǒng)、熟悉MySQL/MongoDB數(shù)據(jù)庫、網(wǎng)絡(luò)編程。

3.具有服務(wù)器部署及運維經(jīng)驗，熟悉Nginx、Virtualenv、uWSGI等

4.擁有自己通過Google或者StackOverflow解決問題的能力

5.具備良好的分析解決問題能力，能獨立承擔(dān)任務(wù)和有系統(tǒng)進(jìn)度的把控能力。

汽車之家

薪資：15k-25k

職位描述：

該職位主要負(fù)責(zé)監(jiān)控平臺的架構(gòu)設(shè)計和開發(fā)工作，包括但不限于“網(wǎng)絡(luò)質(zhì)量和流量分析”，“自動故障定位”，“故障自愈”，“大數(shù)據(jù)分析”等等方面。

職位要求：

1、本科及以上學(xué)歷，3年及以上相關(guān)領(lǐng)域工作經(jīng)驗；

2、勤于溝通，喜歡協(xié)作，懂得如何共識目標(biāo)，必須有嚴(yán)謹(jǐn)?shù)墓ぷ黠L(fēng)格；

3、熟悉Python或Golang，熟練使用MySQL/MongoDB/HDFS/HBase/OpenTSDB等數(shù)據(jù)庫或者文件系統(tǒng)，有調(diào)優(yōu)經(jīng)驗者優(yōu)先；

4、熟悉Zabbix，Open-Falcon原理和使用方法者優(yōu)先；

5、有高并發(fā)、高性能、大數(shù)據(jù)等應(yīng)用架構(gòu)及開發(fā)經(jīng)驗者優(yōu)先；

6、有運維經(jīng)驗者優(yōu)先；

7、有獨立需求分析和方案設(shè)計能力者優(yōu)先。

搜狐暢游

薪資：20k-35k

職位需求： - 統(tǒng)招本科及以上學(xué)歷，計算機相關(guān)專業(yè)者優(yōu)先； - 1年以上Python Web開發(fā)工作經(jīng)驗； - 精通Python，至少熟練掌握一款Python Web框架及一款模板引擎； - 熟悉使用Linux/mysql/redis； - 遵循PEP8/DRY/KISS原則編碼； - 有Code Review的習(xí)慣，注重單元測試，熟悉TDD開發(fā)模式更佳； - 良好的學(xué)習(xí)能力和強烈的進(jìn)取心、責(zé)任心； - 良好的溝通能力及團(tuán)隊合作精神。

加分項：

- 對開源技術(shù)有強烈的興趣和愛好，擁有或參與過github開源項目，向開發(fā)者報告過Bug或者貢獻(xiàn)過Patch；

- 熟悉I/O multiplex / IOCP編程；

- 在bash/lisp/lua方面有開發(fā)經(jīng)驗；

- 熟悉HTML5，在canvas/webGL/css3 animation方面有過實際項目開發(fā)經(jīng)驗；

- 熟悉分布式系統(tǒng)設(shè)計優(yōu)先。

完美世界

薪資：15k-35k

工作內(nèi)容：

1 負(fù)責(zé)解析HTML文本，結(jié)構(gòu)化數(shù)據(jù)

2 負(fù)責(zé)數(shù)據(jù)清洗工作

3 參與爬蟲腳本的開發(fā)工作

崗位要求：

1 計算機相關(guān)專業(yè)，本科以上學(xué)歷

2 有一年以上相關(guān)工作經(jīng)驗

3 熟悉正則表達(dá)式、html的基本標(biāo)簽

4 熟悉mongodb,json，熟悉linux常用命令，以及虛擬機

5 熟悉BeautifulSoup優(yōu)先， 熟悉機器學(xué)習(xí)算法優(yōu)先，熟悉 aws 云服務(wù)優(yōu)先

唯品會

薪資：15k-25k

崗位職責(zé)：

1、參與公司基于 OpenStack 的 IaaS 平臺開發(fā)工作；

2、負(fù)責(zé)云平臺服務(wù)端模塊的開發(fā)；

3、解決部署實施過程中出現(xiàn)的問題；

4、能快速滿足不斷變化的 SaaS/MSS 業(yè)務(wù)提出的 IaaS 需求、應(yīng)對大

數(shù)據(jù)所帶來的技術(shù)挑戰(zhàn)；

5、對業(yè)界領(lǐng)先的技術(shù)和平臺進(jìn)行研究、測試，并且能夠應(yīng)用在實際

環(huán)境中；

任職要求：

1、兩年以上云開發(fā)（OpenStack）相關(guān)研發(fā)工作經(jīng)驗；

2、精通 Python 語言；

3、熟悉 REST 接口的開發(fā)；

4、熟悉 MySQL 數(shù)據(jù)庫的設(shè)計及使用；

5、熟悉高級消息管理協(xié)議，如 RabbitMQ、QPID；

6、熟練使用 Linux 系統(tǒng)，熟悉各種 Linux 命令的使用，能夠在 Linux

環(huán)境下進(jìn)行開發(fā)工作，對虛擬化技術(shù)有一定的了解；

7、良好的代碼開發(fā)風(fēng)格及開發(fā)習(xí)慣；

8、熟悉敏捷開發(fā)流程；

9、熟練使用 Git 版本控制工具；

10、具備良好的英文資料閱讀和理解能力；

11、了解開源項目，有 OpenStack，CloudStack，Hadoop 開發(fā)經(jīng)驗優(yōu)

先。

12、溝通能力，自學(xué)能力強，有強烈的求知欲，有獨立解決分析、解

決問題的能力，良好的團(tuán)隊合作意識；

小米科技

薪資：15k-25k

工作職責(zé)

1.負(fù)責(zé)內(nèi)部管理平臺的開發(fā)和維護(hù)

2.負(fù)責(zé)支撐業(yè)務(wù)的其他項目的開發(fā)和維護(hù)

3.編寫相應(yīng)的單元測試

職位要求

1.兩年以上 Python 項目開發(fā)工作經(jīng)驗，熟悉 Django/Flask 等框架

2.熟悉 MySQL、Redis，能熟練進(jìn)行數(shù)據(jù)庫設(shè)計與優(yōu)化

3.擁有良好的代碼習(xí)慣，結(jié)構(gòu)清晰，命名規(guī)范，邏輯性強

4.熟練使用 Git，熟悉 Pull Request 工作流

5.熟悉 Python 常用的代碼檢測工具如：Flake8、Pylint

6.善于思考，能獨立分析和解決問題

7.責(zé)任心強，具備良好的團(tuán)隊合作精神和承受壓力的能力

攜程

薪資：15k-25k

Python開發(fā)工程師：

1. 負(fù)責(zé)運維平臺設(shè)計及開發(fā)，實現(xiàn)運維自動化和運維效率的提高 2. 幫助開發(fā)團(tuán)隊改進(jìn)開發(fā)流程和效率 3. 與運維團(tuán)隊合作，收集需求，改善運維流程，實現(xiàn)各種運維工具，提高運行維護(hù)作業(yè)水平 4. 負(fù)責(zé)網(wǎng)站監(jiān)控系統(tǒng)、數(shù)據(jù)收集和數(shù)據(jù)分析等系統(tǒng)的開發(fā) 5. 結(jié)合虛擬化技術(shù)，打造和完善攜程云平臺

職位要求： 1. 本科以上學(xué)歷，計算機相關(guān)專業(yè) 2. 有較強的溝通協(xié)調(diào)能力，工作認(rèn)真細(xì)致，良好的團(tuán)隊合作精神，積極主動的工作態(tài)度 3. 具備良好的編程習(xí)慣，熟悉常用算法和設(shè)計模式 4. 熟悉Windows/Linux系統(tǒng)，掌握操作系統(tǒng)基本命令，軟件安裝方法、配置方法 5. 熟悉Web相關(guān)服務(wù)和Web開發(fā)，熟悉IIS/Apache/Tomcat/NoSQL

以下是加分項：

6. 熟悉大型網(wǎng)站運維工作，有運維開發(fā)經(jīng)驗者優(yōu)先；

7. 有CMDB/monitoring system/agent/automation系統(tǒng)設(shè)計與開發(fā)經(jīng)驗者優(yōu)先

8. 熟悉Puppet/Zabbix/Celery/RabbitMQ優(yōu)先

9. 熟悉Python/Django/Tornaod優(yōu)先

10. 熟悉前端開發(fā)(XHTML/JQuery/CSS)優(yōu)先

11. 對OpenStack熟悉者優(yōu)先

優(yōu)酷土豆

薪資：15k-25k

崗位職責(zé)：

1、精通Python，負(fù)責(zé)網(wǎng)站開發(fā)及功能測試，Python功能模塊的實現(xiàn)以及相關(guān)代碼優(yōu)化，Python系統(tǒng)分析以及通用類庫開發(fā)，框架編寫。

2、負(fù)責(zé)公司網(wǎng)站的維護(hù)和升級，優(yōu)化完善系統(tǒng)功能；

3、負(fù)責(zé)網(wǎng)站后臺程序以及數(shù)據(jù)庫的運營和維護(hù)，能獨立完成網(wǎng)站后臺運維工作，并不斷改進(jìn)。

崗位要求：

1.熟悉python語言服務(wù)端開發(fā)，一年以上開發(fā)經(jīng)驗。

2.熟悉django/tornado等python框架，有大并發(fā)項目經(jīng)驗優(yōu)先。

3.熟悉redis等緩存技術(shù)。

4.熟悉mysql數(shù)據(jù)庫開發(fā)與優(yōu)化。

5.有良好的編程理念和項目架構(gòu)設(shè)計。

6.良好的自我驅(qū)動與學(xué)習(xí)能力。

寫在最后

前幾天有私信小編要Python的學(xué)習(xí)資料，小編整理了一些有深度的Python教程和參考資料，從入門到高級的都有，文件已經(jīng)打包好了，正在學(xué)習(xí)Python的同學(xué)可以下載學(xué)習(xí)學(xué)習(xí)。文件下載方式：點擊小編頭像，關(guān)注后私信回復(fù)“資料”即可下載。首先把代碼擼起來！首先把代碼擼起來！首先把代碼擼起來！重要的事說三遍，哈哈?！熬幊淌情T手藝活”。什么意思？得練啊。