作為python菜鳥，突如其來地想爬取智聯(lián)招聘的招聘信息，本來是想爬取職位介紹提取關(guān)鍵字做數(shù)據(jù)分析的，然而智聯(lián)的html結(jié)構(gòu)太混亂，只得放棄這個想法，先爬取了基本的職位信息存儲到本機的mysql數(shù)據(jù)庫中。純新手一枚，寫得相當粗糙，湊合著看吧，具體代碼如下：

mport requests

import urllib.parse

import re

from lxml import etree

import threading

unity_url = r'http://sou.zhaopin/jobs/searchresult.ashx?jl={location}&kw={job}&sm=0&p={page}&source=0'

headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36"}

def get_info_url():

info_urls = []

location = input("請輸入想要搜索的城市：")

loc = urllib.parse.quote(location.encode('utf-8'))

job = input("請輸入想要搜索的職位：")

job = urllib.parse.quote(job.encode('utf-8'))

num = input("請輸入想要獲取的頁數(shù)：")

for i in range(1,int(num)+1):

url = unity_url.format(location=loc,job=job,page=str(i))

page = requests.get(url, headers=headers)

page.encoding = 'utf-8'

html = page.text

r = repile('need_urls = r.findall(html)

for n_url in need_urls:

info_urls.append(n_url[1])

return info_urls

def get_infos():

info_urls = get_info_url()

jobs = []

companies = []

work_years = []

degrees = []

salarys = []

places = []

for info_url in info_urls:

print (info_url)

info_page = requests.get(info_url, headers=headers)

info_page.encoding = 'utf-8'

info_html = info_page.text

e_html = etree.HTML(info_html)

try:

job = e_html.xpath('/html/body/p[5]/p[1]/p[1]/h1')[0].text

jobs.append(job)

company = e_html.xpath('/html/body/p[5]/p[1]/p[1]/h2/a')[0].text

companies.append(company)

work_year = e_html.xpath('/html/body/p[6]/p[1]/ul/li[5]/strong')[0].text

work_years.append(work_year)

degree = e_html.xpath('/html/body/p[6]/p[1]/ul/li[6]/strong')[0].text

degrees.append(degree)

salary = e_html.xpath('/html/body/p[6]/p[1]/ul/li[1]/strong')[0].text

salarys.append(salary.split('元')[0])

place = e_html.xpath('/html/body/p[6]/p[1]/ul/li[2]/strong/a')[0].text

places.append(place)

except:

pass

return jobs, companies, work_years, degrees, salarys, places

if __name__ == '__main__':

t = threading.Thread(target=get_infos)

t.start()

此代碼只是獲取了一些職位信息的URL后寫入列表中，后續(xù)還有寫入數(shù)據(jù)庫，提取數(shù)據(jù)做數(shù)據(jù)可視化的例子

后面數(shù)據(jù)可視化的例子

　　隨著人工智能時代的來臨，學習Python的人越來越多，不過部分人只是盲目的跟隨潮流而沒有明確的職業(yè)方向。有人認為學習Python只能做一些Web后端開發(fā)、爬蟲，就業(yè)面實在太窄，其實不然。今天小編就來給大家分析一下學好Python能夠從事哪些職位。

　　Python是一門腳本語言，語法簡單，可以引用 C 的庫，非常適合寫腳本和做程序粘合劑，因此也被稱為“膠水語言”。TIOBE最新排名顯示，Python已超越C#，與Java,C,C++成為全球前5大流行編程語言之一。要問學好Python能夠從事哪些崗位?從云端、客戶端，到物聯(lián)網(wǎng)終端，Python應用無處不在。國內(nèi)的百度、阿里、騰訊、網(wǎng)易等企業(yè)以及國外的谷歌、NASA、YouTube、Facebook等都在大規(guī)模使用Python完成各種任務。

　　如果說以上還不足以讓你明白學好Python能夠從事哪些職位?那么我們可以從崗位上來細致劃分：學習Python你可以從事Python開發(fā)工程師、Python全棧開發(fā)工程師、Python爬蟲工程師、金融自動化交易、前端開發(fā)工程師、自動化工程師、Linux運維工程師、大數(shù)據(jù)分析與數(shù)據(jù)挖掘工程師。職友網(wǎng)數(shù)據(jù)顯示，與Python有關(guān)的招聘職位共30851 條，分別來自47家招聘網(wǎng)站，但由于目前Python程序員少之又少，崗位滿足率僅30%，人才供需矛盾尖銳。

　　如此廣闊的就業(yè)崗位，如此緊迫的人才需求，可以說學好Python能夠從事多個職位，且全是高薪職位。Python培訓課程大綱全面升級，依據(jù)行業(yè)導向、緊抓企業(yè)痛點，業(yè)界率先推出爬蟲分布式，搜索引擎實現(xiàn)，結(jié)合爬蟲新技術(shù)，推出最貼近企業(yè)實戰(zhàn)的機器學習案例，例如人臉識別，手寫數(shù)字識別，汽車車牌號識別等。