網(wǎng)站性能檢測(cè)評(píng)分
注：本網(wǎng)站頁(yè)面html檢測(cè)工具掃描網(wǎng)站中存在的基本問(wèn)題，僅供參考。
python中的in
python（十八）中斷和異常處理 行業(yè)視頻課程
一、break
二、continue
三、異常處理
循環(huán)我們已經(jīng)用的很多了，括while和for...in。while循環(huán)在條件不滿足時(shí)結(jié)束，for循環(huán)遍歷完序列后結(jié)束。如果在循環(huán)條件仍然滿足或序列沒(méi)有遍歷完的時(shí)候，想要強(qiáng)行跳出循環(huán)，就需要用到break語(yǔ)句。
while True:
a = raw_input()
if a == 'end':
break
上面的程序不停接受用戶(hù)輸入。當(dāng)用戶(hù)輸入一行“end”時(shí)，程序結(jié)束。
for i in range(10):
a = raw_input()
if a == 'exit':
break
上面的程序接受用戶(hù)10次輸入，當(dāng)用戶(hù)輸入一行“exit”時(shí)，程序提前結(jié)束。
break是徹底地跳出循環(huán)，而continue只是略過(guò)本次循環(huán)的余下內(nèi)容，直接進(jìn)入下一次循環(huán)。
在我們前面寫(xiě)的那個(gè)統(tǒng)計(jì)分?jǐn)?shù)的程序里，如果發(fā)現(xiàn)有成績(jī)不足60分，就不記入總成績(jī)。當(dāng)然，你可以用if判斷來(lái)實(shí)現(xiàn)這個(gè)效果。但我們今天要說(shuō)另一種方法：continue。
for score in data[1:]:
point = int(score)
if point
continue
sum += point
注意：無(wú)論是continue還是break，其改變的僅僅是當(dāng)前所處的最內(nèi)層循環(huán)的運(yùn)行，如果外層還有循環(huán)，并不會(huì)因此略過(guò)或跳出。
在程序運(yùn)行時(shí)，如果我們的代碼引發(fā)了錯(cuò)誤，python就會(huì)中斷程序，并且輸出錯(cuò)誤提示。
比如我們寫(xiě)了一句：
print int('0.5')
運(yùn)行后程序得到錯(cuò)誤提示：
Traceback (most recent call last):
File "C:/Python27/test.py", line 1, in
print int('0.5')
ValueError: invalid literal for int() with base 10: '0.5'
意思是，在test.py這個(gè)文件，第1行，print int('0.5')這里，你拿了一個(gè)不是10進(jìn)制能夠表示的字符，我沒(méi)法把它轉(zhuǎn)成int值。
上面的錯(cuò)誤可以避免，但在實(shí)際的應(yīng)用中，有很多錯(cuò)誤是開(kāi)發(fā)者無(wú)法控制的，例如用戶(hù)輸入了一個(gè)不合規(guī)定的值，或者需要打開(kāi)的文件不存在。這些情況被稱(chēng)作“異?！保粋€(gè)好的程序需要能處理可能發(fā)生的異常，避免程序因此而中斷。
例如我們?nèi)ゴ蜷_(kāi)一個(gè)文件：
f = file('non-exist.txt')
print 'File opened!'
f.close()
假如這個(gè)文件因?yàn)槟撤N原因并沒(méi)有出現(xiàn)在應(yīng)該出現(xiàn)的文件夾里，程序就會(huì)報(bào)錯(cuò)：
IOError: [Errno 2] No such file or directory: 'non-exist.txt'
程序在出錯(cuò)處中斷，后面的print不會(huì)被執(zhí)行。
在python中，可以使用try...except語(yǔ)句來(lái)處理異常。做法是，把可能引發(fā)異常的語(yǔ)句放在try-塊中，把處理異常的語(yǔ)句放在except-塊中。
把剛才那段代碼放入try...except中：
try:
f = file('non-exist.txt')
print 'File opened!'
f.close()
except:
print 'File not exists.'
print 'Done'
當(dāng)程序在try內(nèi)部打開(kāi)文件引發(fā)異常時(shí)，會(huì)跳過(guò)try中剩下的代碼，直接跳轉(zhuǎn)到except中的語(yǔ)句處理異常。于是輸出了“File not exists.”。如果文件被順利打開(kāi)，則會(huì)輸出“File opened!”，而不會(huì)去執(zhí)行except中的語(yǔ)句。
但無(wú)論如何，整個(gè)程序不會(huì)中斷，最后的“Done”都會(huì)被輸出。
在try...except語(yǔ)句中，try中引發(fā)的異常就像是扔出了一只飛盤(pán)，而except就是一只靈敏的狗，總能準(zhǔn)確地接住飛盤(pán)。
sciencen. 科學(xué)
writtenadj. 書(shū)面的, 寫(xiě)成文字的 vbl. 寫(xiě), 著述
windown. 窗戶(hù)
behaviorn. 行為,舉止
definitionn. 定義, 闡釋?zhuān)逦?/p>
以上每天用一點(diǎn)時(shí)間，練習(xí)并寫(xiě)出練習(xí)過(guò)程這樣是對(duì)于學(xué)習(xí)的一個(gè)及時(shí)反饋重在堅(jiān)持！
在Python 2.7即將停止支持時(shí)，我們?yōu)槟銣?zhǔn)備了一份3.x遷移指南 流量視頻課程
機(jī)器之心編譯
目前，Python 科學(xué)棧中的所有主要項(xiàng)目都同時(shí)支持 Python 3.x 和 Python 2.7，不過(guò)，這種情況很快即將結(jié)束。去年 11 月，Numpy 團(tuán)隊(duì)的一份聲明引發(fā)了數(shù)據(jù)科學(xué)社區(qū)的關(guān)注：這一科學(xué)計(jì)算庫(kù)即將放棄對(duì)于 Python 2.7 的支持，全面轉(zhuǎn)向 Python 3。Numpy 并不是唯一宣稱(chēng)即將放棄 Python 舊版本支持的工具，pandas 與 Jupyter notebook 等很多產(chǎn)品也在即將放棄支持的名單之中。對(duì)于數(shù)據(jù)科學(xué)開(kāi)發(fā)者而言，如何將已有項(xiàng)目從 Python 2 轉(zhuǎn)向 Python 3 成為了正在面臨的重大問(wèn)題。來(lái)自莫斯科大學(xué)的 Alex Rogozhnikov 博士為我們整理了一份代碼遷移指南。
Python 3 功能簡(jiǎn)介
Python 是機(jī)器學(xué)習(xí)和其他科學(xué)領(lǐng)域中的主流語(yǔ)言，我們通常需要使用它處理大量的數(shù)據(jù)。Python 兼容多種深度學(xué)習(xí)框架，且具備很多優(yōu)秀的工具來(lái)執(zhí)行數(shù)據(jù)預(yù)處理和可視化。
但是，Python 2 和 Python 3 長(zhǎng)期共存于 Python 生態(tài)系統(tǒng)中，很多數(shù)據(jù)科學(xué)家仍然使用 Python 2。2019 年底，Numpy 等很多科學(xué)計(jì)算工具都將停止支持 Python 2，而 2018 年后 Numpy 的所有新功能版本將只支持 Python 3。
為了使 Python 2 向 Python 3 的轉(zhuǎn)換更加輕松，我收集了一些 Python 3 的功能，希望對(duì)大家有用。
使用 pathlib 更好地處理路徑
pathlib 是 Python 3 的默認(rèn)模塊，幫助避免使用大量的 os.path.joins：
from pathlib importPath
dataset ='wiki_images'
datasets_root =Path('/path/to/datasets/')
train_path = datasets_root / dataset /'train'
test_path = datasets_root / dataset /'test'
for image_path in train_path.iterdir():
with image_path.open()as f:# note, open is a method of Path object
# do something with an image
Python 2 總是試圖使用字符串級(jí)聯(lián)（準(zhǔn)確，但不好），現(xiàn)在有了 pathlib，代碼安全、準(zhǔn)確、可讀性強(qiáng)。
此外，pathlib.Path 具備大量方法，這樣 Python 新用戶(hù)就不用每個(gè)方法都去搜索了：
p.exists()
p.is_dir()
p.parts()
p.with_name('sibling.png')# only change the name, but keep the folder
p.with_suffix('.jpg')# only change the extension, but keep the folder and the name
p.chmod(mode)
p.rmdir()
pathlib 會(huì)節(jié)約大量時(shí)間，詳見(jiàn)：
文檔：https://docs.python.org/3/library/pathlib.html；
參考信息：https://pymotw/3/pathlib/。
類(lèi)型提示（Type hinting）成為語(yǔ)言的一部分
PyCharm 中的類(lèi)型提示示例：
Python 不只是適合腳本的語(yǔ)言，現(xiàn)在的數(shù)據(jù)流程還包括大量步驟，每一步都包括不同的框架（有時(shí)也包括不同的邏輯）。
類(lèi)型提示被引入 Python，以幫助處理越來(lái)越復(fù)雜的項(xiàng)目，使機(jī)器可以更好地進(jìn)行代碼驗(yàn)證。而之前需要不同的模塊使用自定義方式在文檔字符串中指定類(lèi)型（注意：PyCharm 可以將舊的文檔字符串轉(zhuǎn)換成新的類(lèi)型提示）。
下列代碼是一個(gè)簡(jiǎn)單示例，可以處理不同類(lèi)型的數(shù)據(jù)（這就是我們喜歡 Python 數(shù)據(jù)棧之處）。
def repeat_each_entry(data):
""" Each entry in the data is doubled
"""
index = numpy.repeat(numpy.arange(len(data)),2)
return data[index]
上述代碼適用于 numpy.array（包括多維）、astropy.Table 和 astropy.Column、bcolz、cupy、mxnet.ndarray 等。
該代碼同樣可用于 pandas.Series，但是方式是錯(cuò)誤的：
repeat_each_entry(pandas.Series(data=[0,1,2], index=[3,4,5]))# returns Series with Nones inside
這是一個(gè)兩行代碼。想象一下復(fù)雜系統(tǒng)的行為多么難預(yù)測(cè)，有時(shí)一個(gè)函數(shù)就可能導(dǎo)致錯(cuò)誤的行為。明確了解哪些類(lèi)型方法適合大型系統(tǒng)很有幫助，它會(huì)在函數(shù)未得到此類(lèi)參數(shù)時(shí)給出提醒。
def repeat_each_entry(data:Union[numpy.ndarray, bcolz.carray]):
如果你有一個(gè)很棒的代碼庫(kù)，類(lèi)型提示工具如 MyPy 可能成為集成流程中的一部分。不幸的是，提示沒(méi)有強(qiáng)大到足以為 ndarrays/tensors 提供細(xì)粒度類(lèi)型，但是或許我們很快就可以擁有這樣的提示工具了，這將是 DS 的偉大功能。
類(lèi)型提示 → 運(yùn)行時(shí)的類(lèi)型檢查
默認(rèn)情況下，函數(shù)注釋不會(huì)影響代碼的運(yùn)行，不過(guò)它也只能幫你指出代碼的意圖。
但是，你可以在運(yùn)行時(shí)中使用 enforce 等工具強(qiáng)制進(jìn)行類(lèi)型檢查，這可以幫助你調(diào)試代碼（很多情況下類(lèi)型提示不起作用）。
@enforce.runtime_validation
def foo(text: str)->None:
print(text)
foo('Hi')# ok
foo(5)# fails
@enforce.runtime_validation
def any2(x:List[bool])->bool:
return any(x)
any ([False,False,True,False])# True
any2([False,False,True,False])# True
any (['False'])# True
any2(['False'])# fails
any ([False,None,"",0])# False
any2([False,None,"",0])# fails
函數(shù)注釋的其他用處
如前所述，注釋不會(huì)影響代碼執(zhí)行，而且會(huì)提供一些元信息，你可以隨意使用。
例如，計(jì)量單位是科學(xué)界的一個(gè)普遍難題，astropy 包提供一個(gè)簡(jiǎn)單的裝飾器（Decorator）來(lái)控制輸入量的計(jì)量單位，并將輸出轉(zhuǎn)換成所需單位。
# Python 3
from astropy import units as u
@u.quantity_input()
def frequency(speed: u.meter / u.s, wavelength: u.m)->u.terahertz:
return speed / wavelength
frequency(speed=300_000 * u.km / u.s, wavelength=555* u.nm)
# output: 540.5405405405404 THz, frequency of green visible light
如果你擁有 Python 表格式科學(xué)數(shù)據(jù)（不必要太多），你應(yīng)該嘗試一下 astropy。你還可以定義針對(duì)某個(gè)應(yīng)用的裝飾器，用同樣的方式來(lái)控制／轉(zhuǎn)換輸入和輸出。
通過(guò) @ 實(shí)現(xiàn)矩陣乘法
下面，我們實(shí)現(xiàn)一個(gè)最簡(jiǎn)單的機(jī)器學(xué)習(xí)模型，即帶 L2 正則化的線性回歸：
# l2-regularized linear regression: || AX - b ||^2 + alpha * ||x||^2 ->min
# Python 2
X = np.linalg.inv(np.dot(A.T, A)+ alpha * np.eye(A.shape[1])).dot(A.T.dot(b))
# Python 3
X = np.linalg.inv(A.T @ A + alpha * np.eye(A.shape[1]))@(A.T @ b)
下面 Python 3 帶有 @ 作為矩陣乘法的符號(hào)更具有可讀性，且更容易在深度學(xué)習(xí)框架中轉(zhuǎn)譯：因?yàn)橐恍┤?X @ W + b[None, :] 的代碼在 numpy、cupy、pytorch 和 tensorflow 等不同庫(kù)下都表示單層感知機(jī)。
使用 ** 作為通配符
遞歸文件夾的通配符在 Python2 中并不是很方便，因此才存在定制的 glob2 模塊來(lái)克服這個(gè)問(wèn)題。遞歸 flag 在 Python 3.6 中得到了支持。
import glob
# Python 2
found_images = \
glob.glob('/path*.jpg') \
+ glob.glob('/path*.jpg') \
+ glob.glob('/path***.jpg')
# Python 3
found_images = glob.glob('/path*.jpg', recursive=True)
python3 中更好的選擇是使用 pathlib：
# Python 3
found_images = pathlib.Path('/path/').glob('**/*.jpg')
Print 在 Python3 中是函數(shù)
Python 3 中使用 Print 需要加上麻煩的圓括弧，但它還是有一些優(yōu)點(diǎn)。
使用文件描述符的簡(jiǎn)單句法：
print>>sys.stderr,"critical error"# Python 2
print("critical error", file=sys.stderr)# Python 3
在不使用 str.join 下輸出 tab-aligned 表格：
# Python 3
print(*array, sep='\t')
print(batch, epoch, loss, accuracy, time, sep='\t')
修改與重新定義 print 函數(shù)的輸出：
# Python 3
_print =print# store the original print function
defprint(*args,**kargs):
pass# do something useful, e.g. store output to some file
在 Jupyter 中，非常好的一點(diǎn)是記錄每一個(gè)輸出到獨(dú)立的文檔，并在出現(xiàn)錯(cuò)誤的時(shí)候追蹤出現(xiàn)問(wèn)題的文檔，所以我們現(xiàn)在可以重寫(xiě) print 函數(shù)了。
在下面的代碼中，我們可以使用上下文管理器暫時(shí)重寫(xiě) print 函數(shù)的行為：
@contextlib.contextmanager
def replace_print():
import builtins
_print =print# saving old print function
# or use some other function here
builtins.print=lambda*args,**kwargs: _print('new printing',*args,**kwargs)
yield
builtins.print= _print
with replace_print():
上面并不是一個(gè)推薦的方法，因?yàn)樗鼤?huì)引起系統(tǒng)的不穩(wěn)定。
print 函數(shù)可以加入列表解析和其它語(yǔ)言構(gòu)建結(jié)構(gòu)。
# Python 3
result = process(x)if is_valid(x)elseprint('invalid item: ', x)
f-strings 可作為簡(jiǎn)單和可靠的格式化
默認(rèn)的格式化系統(tǒng)提供了一些靈活性，且在數(shù)據(jù)實(shí)驗(yàn)中不是必須的。但這樣的代碼對(duì)于任何修改要么太冗長(zhǎng)，要么就會(huì)變得很零碎。而代表性的數(shù)據(jù)科學(xué)需要以固定的格式迭代地輸出一些日志信息，通常需要使用的代碼如下：
# Python 2
print('{batch:3} {epoch:3} / {total_epochs:3} accuracy: {acc_mean:0.4f}±{acc_std:0.4f} time: {avg_time:3.2f}'.format(
batch=batch, epoch=epoch, total_epochs=total_epochs,
acc_mean=numpy.mean(accuracies), acc_std=numpy.std(accuracies),
avg_time=time / len(data_batch)
))
# Python 2 (too error-prone during fast modifications, please avoid):
print('{:3} {:3} / {:3} accuracy: {:0.4f}±{:0.4f} time: {:3.2f}'.format(
batch, epoch, total_epochs, numpy.mean(accuracies), numpy.std(accuracies),
time / len(data_batch)
))
樣本輸出：
12012/300 accuracy:0.8180±0.4649 time:56.60
f-strings 即格式化字符串在 Python 3.6 中被引入：
# Python 3.6+
print(f'{batch:3} {epoch:3} / {total_epochs:3} accuracy: {numpy.mean(accuracies):0.4f}±{numpy.std(accuracies):0.4f} time: {time / len(data_batch):3.2f}')
另外，寫(xiě)查詢(xún)語(yǔ)句時(shí)非常方便：
query = f"INSERT INTO STATION VALUES (13, '{city}', '{state}', {latitude}, {longitude})"
「true pision」和「integer pision」之間的明顯區(qū)別
對(duì)于數(shù)據(jù)科學(xué)來(lái)說(shuō)這種改變帶來(lái)了便利（但我相信對(duì)于系統(tǒng)編程來(lái)說(shuō)不是）。
data = pandas.read_csv('timing.csv')
velocity = data['distance']/ data['time']
Python 2 中的結(jié)果依賴(lài)于『時(shí)間』和『距離』（例如，以米和秒為單位）是否被保存為整數(shù)。
在 Python 3 中，結(jié)果的表示都是精確的，因?yàn)槌ǖ慕Y(jié)果是浮點(diǎn)數(shù)。
另一個(gè)案例是整數(shù)除法，現(xiàn)在已經(jīng)作為明確的運(yùn)算：
n_gifts = money // gift_price # correct for int and float arguments
注意，該運(yùn)算可以應(yīng)用到內(nèi)建類(lèi)型和由數(shù)據(jù)包（例如，numpy 或 pandas）提供的自定義類(lèi)型。
嚴(yán)格排序
# All these comparisons are illegal in Python 3
3<'3'
2 (3,4)<(3,None) (4,5)<[4,5] # False in both Python 2 and Python 3 (4,5)==[4,5] 防止不同類(lèi)型實(shí)例的偶然性的排序。 sorted([2,'1',3])# invalid for Python 3, in Python 2 returns [2, 3, '1'] 在處理原始數(shù)據(jù)時(shí)幫助發(fā)現(xiàn)存在的問(wèn)題。 旁注：對(duì) None 的合適檢查是（兩個(gè)版本的 Python 都適用）： if a isnotNone: pass if a:# WRONG check for None pass 自然語(yǔ)言處理的 Unicode s ='您好' print(len(s)) print(s[:2]) 輸出： Python 2: 6\n Python 3: 2\n 您好. x = u'со' x +='co'# ok x +='со'# fail Python 2 在此失敗了，而 Python 3 可以如期工作（因?yàn)槲以谧址惺褂昧硕砦淖帜福?/p> 在 Python 3 中 strs 是 Unicode 字符串，對(duì)非英語(yǔ)文本的 NLP 處理更加方便。 還有其它有趣的方面，例如： 'a'< type < u'a'# Python 2: True 'a'< u'a'# Python 2: False from collections importCounter Counter('Mbelstück') Python 2: Counter({'\xc3': 2, 'b': 1, 'e': 1, 'c': 1, 'k': 1, 'M': 1, 'l': 1, 's': 1, 't': 1, '\xb6': 1, '\xbc': 1}) Python 3: Counter({'M': 1, '': 1, 'b': 1, 'e': 1, 'l': 1, 's': 1, 't': 1, 'ü': 1, 'c': 1, 'k': 1}) 這些在 Python 2 里也能正確地工作，但 Python 3 更為友好。 保留詞典和**kwargs 的順序 在 CPython 3.6+ 版本中，字典的默認(rèn)行為類(lèi)似于 OrderedDict（在 3.7+版本中已得到保證）。這在字典理解（和其他操作如 json 序列化/反序列化期間）保持順序。 import json x ={str(i):i for i in range(5)} json.loads(json.dumps(x)) # Python 2 {u'1':1, u'0':0, u'3':3, u'2':2, u'4':4} # Python 3 {'0':0,'1':1,'2':2,'3':3,'4':4} 它同樣適用于**kwargs（在 Python 3.6+版本中）：它們的順序就像參數(shù)中顯示的那樣。當(dāng)設(shè)計(jì)數(shù)據(jù)流程時(shí)，順序至關(guān)重要，以前，我們必須以這樣繁瑣的方式來(lái)編寫(xiě)： from torch import nn # Python 2 model = nn.Sequential(OrderedDict([ ('conv1', nn.Conv2d(1,20,5)), ('relu1', nn.ReLU()), ('conv2', nn.Conv2d(20,64,5)), ('relu2', nn.ReLU()) ])) # Python 3.6+, how it *can* be done, not supported right now in pytorch model = nn.Sequential( conv1=nn.Conv2d(1,20,5), relu1=nn.ReLU(), conv2=nn.Conv2d(20,64,5), relu2=nn.ReLU()) ) 注意到了嗎？名稱(chēng)的唯一性也會(huì)被自動(dòng)檢查。 迭代地拆封 # handy when amount of additional stored info may vary between experiments, but the same code can be used in all cases model_paramteres, optimizer_parameters,*other_params = load(checkpoint_name) # picking two last values from a sequence *prev, next_to_last, last = values_history # This also works with any iterables, so if you have a function that yields e.g. qualities, # below is a simple way to take only last two values from a list *prev, next_to_last, last = iter_train(args) 默認(rèn)的 pickle 引擎為數(shù)組提供更好的壓縮 # Python 2 import cPickle as pickle import numpy print len(pickle.dumps(numpy.random.normal(size=[1000,1000]))) # result: 23691675 # Python 3 import pickle import numpy len(pickle.dumps(numpy.random.normal(size=[1000,1000]))) # result: 8000162 節(jié)省 3 倍空間，而且速度更快。實(shí)際上，類(lèi)似的壓縮（不過(guò)與速度無(wú)關(guān)）可以通過(guò) protocol=2 參數(shù)來(lái)實(shí)現(xiàn)，但是用戶(hù)?...
Python中集合（set）類(lèi)型的詳細(xì)解釋及操作 公司視頻課程
一、集合（set）類(lèi)型的含義：
Set是一個(gè)無(wú)序不重復(fù)元素集，與列表和元組不同，集合是無(wú)序的，無(wú)法通過(guò)數(shù)字進(jìn)行索引。
注意：下面所舉例子在python3.6,IDE為pycharm2016.1中通過(guò)。
創(chuàng)建集合：用set（）函數(shù)，或直接賦值。
例子：
x=set('Nike MM')
y=set(['w','a','m','a'])
print(x)
print(y)
輸出：
{'M', 'N', 'e', 'k', ' ', 'i'}
{'w', 'm', 'a'}
可以看到，在輸出中，是用一對(duì)｛｝號(hào)包住，里面重復(fù)的元素被去除。
再看一個(gè)例子：
s={'11','22','33'}
print(s)
print(type(s))
s={}
{'33', '11', '22'}
在定義不，不能用s={}，這關(guān)創(chuàng)建的實(shí)際上是一個(gè)字典類(lèi)型。
二、有關(guān)集合的操作：
1．增加操作
a=set('python')
a.add('why')
print(a)
b=set('python')
b.update('why')
print(b)
{'n', 'p', 'y', 'h', 'o', 't', 'why'}
{'n', 'p', 'y', 'h', 'o', 'w', 't'}
可能看到：add是單個(gè)元素的添加，并沒(méi)有把元素再分拆為單個(gè)字符。Update是批量的增加，增加的元素如果是一個(gè)字符串（實(shí)際上，在Python中字符串也是一個(gè)系列），是作為一個(gè)系列增加的。在輸出結(jié)果中，兩個(gè)函數(shù)都是無(wú)序的，并且無(wú)重復(fù)，也非添加到尾部。
2．刪除操作（remove,discard,pop）
例子1：
a=set('abcdefghijk')
a.remove('a')
a.remove('w')
輸出 ：
Traceback (most recent call last):
{'h', 'k', 'e', 'd', 'g', 'c', 'f', 'i', 'b', 'j'}
File "D:/python/temp3.py", line 4, in
KeyError: 'w'
例子2：
a.discard('a')
a.discard('w')
{'f', 'h', 'd', 'e', 'b', 'k', 'i', 'j', 'c', 'g'}
例子3：
b=a.pop()
print(b,type(b))
{'k', 'd', 'h', 'c', 'b', 'j', 'g', 'i', 'e', 'f'}
a
從以上例子可以看到，remove方法刪除指定無(wú)素，如果要?jiǎng)h除的元素的不在集合中，則報(bào)錯(cuò)；discard方法刪除指定元素，如果要?jiǎng)h除物元素不在集合中，則不報(bào)錯(cuò)，pop方法刪除任意元素，并可將這個(gè)元素賦值給一個(gè)變量，但集合并沒(méi)有把這個(gè)元素移除。
3.清空（clear）
例子:
a.clear()
set()
4.交集&，并集|，差集-，對(duì)稱(chēng)差集^，子集（被包含）<=，父集(包含)>=
a=set(['a','b','c','d','e','f'])
b=set(('d','e','f','g','h','i'))
d=set('def')
print('交集：',a.intersection(b))
print('交集：',a & b)
print('并集：',a.union(b))
print('并集：',a | b)
print('差集:',a.difference(b))
print('差集:',a-b)
#對(duì)稱(chēng)差集:
#把兩個(gè)集合中相同的元素去掉，然后
#兩個(gè)集合中剩下的元素組成一個(gè)新的集合
print('對(duì)稱(chēng)差集:',a.symmetric_difference(b) )
print('對(duì)稱(chēng)差集:',a ^ b )
print('子集：',a.issubset(d) )
print('子集：',a<=d )
print('父集：',a.issuperset(d) )
print('父集：',a>=d )
交集： {'f', 'e', 'd'}
并集： {'c', 'e', 'd', 'b', 'f', 'a', 'g', 'i', 'h'}
差集: {'a', 'c', 'b'}
對(duì)稱(chēng)差集: {'a', 'c', 'g', 'b', 'i', 'h'}
子集： False
父集： True
5．集合的其它一些操作
#如果a和d沒(méi)有交集，返回True，有則返回False
print(a.isdisjoint(d) ) 輸出：False
print(a print(a>d) 輸出：True print（a!=b） 輸出：True print(a.copy()) 輸出：{'f', 'e', 'b', 'a', 'd', 'c'} #復(fù)制一個(gè)集合 print('a' in a) 輸出：True #測(cè)試元素是否在集合中 print('a' not in a) 輸出：False #測(cè)試元素是否不在集合中 print(len(a)) 輸出：6 #返回集合的長(zhǎng)度 6．集合計(jì)算： （1） #從a中減去a和b的交集，即從a集合中刪除和b集合中相同的元素 a.difference_update(b) 即等于：a=a-b 或a-=b print(a) 輸出：{'a', 'b', 'c'} （2） #修改a集合，僅僅保持a與b的交集，如果沒(méi)有交集，則a變?yōu)榭占蟬et() a.intersection_update(b) 即等于：a=a&b 或a&=b print(a ) 輸出：{'e', 'd', 'f'} (3) #a集合中增加‘在b集合中除去a和b交集剩下的元素’ a.symmetric_difference_update(b) 即等于：a=a^b 或 a^=b print(a) 輸出：{'i', 'g', 'a', 'c', 'b', 'h'}
揭秘 Python 中的 enumerate() 函數(shù) 推廣視頻課程
如何以去寫(xiě)以及為什么你應(yīng)該使用Python中的內(nèi)置枚舉函數(shù)來(lái)編寫(xiě)更干凈更加Pythonic的循環(huán)語(yǔ)句？
Python的enumerate函數(shù)是一個(gè)神話般的存在，以至于它很難用一句話去總結(jié)它的目的和用處。但是，它是一個(gè)非常有用的函數(shù)，許多初學(xué)者，甚至中級(jí)Pythonistas是并沒(méi)有真正意識(shí)到。簡(jiǎn)單來(lái)說(shuō)，enumerate是用來(lái)遍歷一個(gè)可迭代容器中的元素，同時(shí)通過(guò)一個(gè)計(jì)數(shù)器變量記錄當(dāng)前元素所對(duì)應(yīng)的索引值。
讓我們來(lái)看一個(gè)示例：
正如你所看到的，這個(gè)循環(huán)遍歷了names列表的所有元素，并通過(guò)增加從零開(kāi)始的計(jì)數(shù)器變量來(lái)為每個(gè)元素生成索引。
[如果您想知道上面例子中使用的f'...'字符串語(yǔ)法，這是Python 3.6及更高版本中提供的一種新的字符串格式化技巧。]
用那么為什么用enumerate函數(shù)去保存運(yùn)行中的索引很有用呢？range(len(...))方法來(lái)保存運(yùn)行中每個(gè)元素的索引，同時(shí)再用for通過(guò)巧妙地使用enumerate函數(shù)，就像我在上面的"names"例子中寫(xiě)的那樣，你可以使你的循環(huán)結(jié)構(gòu)看起來(lái)更Pythonic和地道。你不再需要在Python代碼中專(zhuān)門(mén)去生成元素索引，而是將所有這些工作都交給enumerate函數(shù)處理即可。這樣，你的代碼將更容易被閱讀，而且減少寫(xiě)錯(cuò)代碼的影響。（譯者注：寫(xiě)的代碼越多，出錯(cuò)幾率越高，盡量將自己的代碼看起來(lái)簡(jiǎn)潔，易讀，Pythonic，才是我們的追求）
修改起始索引
另一個(gè)有用的特性是，enumerate函數(shù)允許我們?yōu)檠h(huán)自定義起始索引值。enumerateOK，這段代碼演示的就是如何將Python的函數(shù)默認(rèn)0起始索引值修改為1（或者其他任何整形值，根據(jù)需求去設(shè)置不同值）enumerate你可能想知道enumerate函數(shù)背后是如何工作的。事實(shí)上他的部分魔法是通過(guò)Python迭代器來(lái)實(shí)現(xiàn)的。意思就是每個(gè)元素的索引是懶加載的（一個(gè)接一個(gè)，用的時(shí)候生成），這使得內(nèi)存使用量很低并且保持這個(gè)結(jié)構(gòu)運(yùn)行很快。在上面這個(gè)代碼片段中，正如你所見(jiàn)，我使用了和前面一樣的示例代碼。但是，調(diào)用enumerate函數(shù)并不會(huì)立即返回循環(huán)的結(jié)果，而只是在控制臺(tái)中返回了一個(gè)enumerate對(duì)象。
正如你所看到的，這是一個(gè)"枚舉對(duì)象"。它的確是一個(gè)迭代器。就像我說(shuō)的，它會(huì)在循環(huán)請(qǐng)求時(shí)懶加載地輸出每個(gè)元素。
為了驗(yàn)證，我們可以取出那些"懶加載"的元素，我計(jì)劃在這個(gè)迭代器上調(diào)用Python的內(nèi)置函數(shù)list
>>>list(enumerate(names))
[(0,'Bob'),(1,'Alice'),(2,'Guido')]
對(duì)于輸入list中的每個(gè)enumerate迭代器元素，迭代器會(huì)返回一個(gè)形式為（index，element）的元組作為list的元素。在典型的for-in循環(huán)中，你可以利用Python的數(shù)據(jù)結(jié)構(gòu)解包功能來(lái)充分利用這一點(diǎn)特性：
for index, element in enumerate(iterable):
# ...
總結(jié)：Python中的enumerate函數(shù)-關(guān)鍵點(diǎn)
enumerate是Python的一個(gè)內(nèi)置函數(shù)。你應(yīng)該充分利用它通過(guò)循環(huán)迭代自動(dòng)生成的索引變量。
索引值默認(rèn)從0開(kāi)始，但也可以將其設(shè)置為任何整數(shù)。
enumerate函數(shù)是從2.3版本開(kāi)始被添加到Python中的，詳情見(jiàn)PEP279。
Python的enumerate函數(shù)可以幫助你編寫(xiě)出更加Pythonic和地道的循環(huán)結(jié)構(gòu)，避免使用笨重且容易出錯(cuò)的手動(dòng)生成索引。
為了充分利用enumerate的特性，一定要研究Python的迭代器和數(shù)據(jù)結(jié)構(gòu)解包功能。
題圖：pexels，CC0授權(quán)。
數(shù)據(jù)科學(xué)工具 Jupyter Notebook 教程 in Python 企業(yè)視頻課程
更多騰訊海量技術(shù)文章，請(qǐng)關(guān)注騰訊云技術(shù)社區(qū)：https://cloud.tencent/community
作者：張耀琦
簡(jiǎn)單介紹
Jupyter 是一個(gè)筆記本，這個(gè)筆記本可以編寫(xiě)和執(zhí)行代碼，分析數(shù)據(jù)，嵌入內(nèi)容，以及共享可重復(fù)性的工作。Jupyter Notebook （以前成為iPython Notebook）可以在一個(gè)簡(jiǎn)單的筆記本中輕松分享代碼，數(shù)據(jù)，圖標(biāo)以及說(shuō)明。發(fā)布格式也比較靈活：PDF， HTML，ipynb，dsahboards，slides，等等。代碼單元是基于輸入和輸出格式。例如：
安裝
有多種方式可以安裝 Jupyter Notebook:
使用 pip 安裝。在終端中輸入 $ pip install jupyter
Windows用戶(hù)可以使用 setuptools 安裝。
* Anaconda 和 Enthought 可以下載 Jupyter Notebook的桌面版。
nteract 可以通過(guò)一個(gè)桌面應(yīng)用在 notebook 環(huán)境中工作。
Microsoft Azure 提供對(duì) Jupyter Notebook 的托管訪問(wèn)。
Domino Data Lab 提供基于web的notebook。
tmpnb 為個(gè)人用戶(hù)啟動(dòng)一個(gè)臨時(shí)在線的notebook。
主觀觀點(diǎn)：Windows 下常用Anaconda ，但并不是說(shuō) Mac 和 Linux用戶(hù)就不需要了，個(gè)人覺(jué)得 Anaconda 都應(yīng)該嘗試一下，啟動(dòng)和管理庫(kù)都很方便。
入門(mén)指南
安裝 notebook 之后，在終端中輸入 $ jupyter notebook 來(lái)啟動(dòng)。此時(shí)將在 localhost 打開(kāi)瀏覽器到notebook的URL，默認(rèn)是 http://127.0.0.1:8888。Windows 用戶(hù)打開(kāi)Command Prompt. 可以在一個(gè)dashboard 中看到所有的notebook，打開(kāi)很方便。當(dāng)編碼和發(fā)布的時(shí)候，Notebook具有相同的優(yōu)勢(shì)。有所有的選項(xiàng)，移動(dòng)代碼，運(yùn)行cell，更改 kernel，并且運(yùn)行 NB的時(shí)候使用 Markdown
有用的命令
Tab Completion： Jupyter 支持tab 自動(dòng)補(bǔ)全！可以鍵入object_name.
Help： 提供介紹和功能概述。
Quick Reference：運(yùn)行后打開(kāi)快速參考。
Keyboard Shortcuts：Shift-Enter將運(yùn)行一個(gè)cell, Ctrl-Enter將在空間內(nèi)運(yùn)行cell, Alt-Enter 將運(yùn)行cell，并在下面插入一個(gè)cell. 更多的快捷鍵請(qǐng)看 here。
語(yǔ)言
本教程的主要內(nèi)容是討論在 Jupyter notebooks 中執(zhí)行python 代碼。也可以使用 Jupyter notebooks 來(lái)執(zhí)行 R 語(yǔ)言的代碼。
Package 管理
在Jupyter安裝 package時(shí)，需要在shell中安裝，或者運(yùn)行感嘆號(hào)前綴，例如：
!pip install packagename
如果已經(jīng)編輯了代碼，可能需要 reload submodules。IPython 自帶重載機(jī)制?？梢栽趫?zhí)行新行之前重新加載所有更改的模塊。
%load_ext autoreload%autoreload 2
本教程使用到的一些package：
Pandas：通過(guò)網(wǎng)址導(dǎo)入數(shù)據(jù)，創(chuàng)建數(shù)據(jù)框架，可以很簡(jiǎn)單的處理數(shù)據(jù)，進(jìn)行分析和繪圖。請(qǐng)參閱使用 Panda的例子：https://plot.ly/pandas/。
NumPy：用于科學(xué)計(jì)算的package，用于代數(shù)，隨機(jī)數(shù)生成，與數(shù)據(jù)庫(kù)集成和管理數(shù)據(jù)的工具。請(qǐng)參閱使用 Numpy 的例子：https://plot.ly/numpy/。
SciPy：一個(gè)基于Python的數(shù)學(xué)、科學(xué)和工程庫(kù)。
Plotly：用于制作交互式，達(dá)到出版品質(zhì)圖表的圖形庫(kù)。更多統(tǒng)計(jì)，科學(xué)，3D圖表等，請(qǐng)參閱：https://plot.ly/python
如果使用的是Anaconda 在Environments中可以發(fā)現(xiàn)，前三個(gè)庫(kù)都已經(jīng)默認(rèn)幫你下載安裝好了。然后把過(guò)濾條件改為All，搜Plotly，安裝即可。非常方便
Import 數(shù)據(jù)
可以使用 pandas 的 read_csv() 函數(shù)來(lái)導(dǎo)入數(shù)據(jù)。下面的示例中，導(dǎo)入了一個(gè) hosted on github 的csv，并使用Plotly將數(shù)據(jù)展示在一個(gè)table中。(table using Plotly)
plotly.plotly.iplot() 函數(shù)是在線的，需要先設(shè)置賬號(hào)和key，具體請(qǐng)參閱：https://plot.ly/python/getting-started/
使用dataframe.column_title 來(lái)索引 dataframe：
pandas大多數(shù)的函數(shù)也適用于整個(gè) dataframe。例如，調(diào)用 std() 計(jì)算每列的標(biāo)準(zhǔn)差
內(nèi)聯(lián)繪圖
可以使用 Plotly’s python API ，通過(guò)調(diào)用 plotly.plotly.iplot() 或者離線工作的時(shí)候使用 plotly.offline.iplot() 。在notebook中繪制，可以將數(shù)據(jù)分析和繪圖保存在一個(gè)位置。下面是一個(gè)可以交互的繪圖。轉(zhuǎn)到 Plotly getting started 頁(yè)面，了解如何設(shè)置憑據(jù)。通過(guò)調(diào)用 iplot 自動(dòng)生成內(nèi)嵌 iframe 的交互式版本：
繪制多個(gè)軌道，并使用 Plotly語(yǔ)法，自定義顏色和標(biāo)題，來(lái)對(duì)圖標(biāo)進(jìn)行樣式化。還可以進(jìn)行控制，將 sharing 設(shè)置為 public , private, 或者 secret。
現(xiàn)在notebook中顯示了交互式圖標(biāo)。將鼠標(biāo)懸停在圖標(biāo)上來(lái)查看每一欄的值，單擊并拖動(dòng)來(lái)放大到特定部分，或單擊圖例以隱藏/顯示軌道。
繪制交互式地圖
Plotly 現(xiàn)在集成了 Mapbox。下面的例子，將繪制世界分級(jí)統(tǒng)計(jì)圖。
import plotly.plotly as pyimport pandas as pddf = pd.read_csv('https://raw.githubusercontent/plotly/datasets/master/2014_world_gdp_with_codes.csv')data = [ dict( type = 'choropleth', locations = df['CODE'], z = df['GDP (BILLIONS)'], text = df['COUNTRY'], colorscale = [[0,"rgb(5, 10, 172)"],[0.35,"rgb(40, 60, 190)"],[0.5,"rgb(70, 100, 245)"], [0.6,"rgb(90, 120, 245)"],[0.7,"rgb(106, 137, 247)"],[1,"rgb(220, 220, 220)"]], autocolorscale = False, reversescale = True, marker = dict( line = dict ( color = 'rgb(180,180,180)', width = 0.5 ) ), colorbar = dict( autotick = False, tickprefix = '$', title = 'GDPBillions US$'), ) ]layout = dict( title = '2014 Global GDPSource: CIA World Factbook', geo = dict( showframe = False, showcoastlines = False, projection = dict( type = 'Mercator' ) ))fig = dict( data=data,layout=layout )py.iplot( fig, validate=False,filename='d3-world-map' )
3D繪圖
使用Numpy和Plotly，可以在Notebook中繪制交互式3D圖。
import plotly.plotly as pyfrom plotly.graph_objs import *import numpy as nps = np.linspace(0, 2 * np.pi, 240)t = np.linspace(0, np.pi, 240)tGrid, sGrid = np.meshgrid(s, t)r = 2 + np.sin(7 * sGrid + 5 * tGrid) # r = 2 + sin(7s + 5t)x = r * np.cos(sGrid) * np.sin(tGrid) # x = r * con(s) * sin(t)y = r * np.sin(sGrid) * np.sin(tGrid) # y = r * sin(s) * sin(t)z = r * np.cos(tGrid) # z = r * cos(t)surface = Surface(x = x, y = y, z = z)data = Data([surface])layout = Layout( title = 'ParametricPlot', scene = Scene( xaxis = XAxis( gridcolor = 'rgb(255, 255, 255)', zerolinecolor = 'rgb(255, 255, 255)', showbackground = True, backgroundcolor = 'rgb(230, 230, 230)' ), yaxis = YAxis( gridcolor = 'rgb(255, 255, 255)', zerolinecolor = 'rgb(255, 255, 255)', showbackground = True, backgroundcolor = 'rgb(230, 230, 230)' ), zaxis = ZAxis( gridcolor = 'rgb(255, 255, 255)', zerolinecolor = 'rgb(255, 255, 255)', showbackground = True, backgroundcolor = 'rgb(230, 230, 230)' ) ))fig = Figure(data = data, layout = layout)py.iplot(fig, filename = 'parametric_plot')
繪制動(dòng)畫(huà)
查看Plotly的 animation documentation ，來(lái)了解如果在Jupyter notebook中創(chuàng)建內(nèi)聯(lián)動(dòng)畫(huà)，比如：
Plot 控件和IPython 小部件
給內(nèi)聯(lián)圖表添加 silder, button, 和 dropdown：
import plotly.plotly as pyimport numpy as npdata = [dict( visible = False, line = dict(color = '00CED1', width = 6), name = 'v = ' + str(step), x = np.arange(0, 10, 0.01), y = np.sin(step * np.arange(0, 10, 0.01))) for step in np.arange(0, 5, 0.1)]data[10]['visible'] = Truesteps = []for i in range(len(data)): step = dict( method = 'restyle', args = ['visible', [False] * len(data)], ) step['args'][1][i] = True # Toggle i'th trace to "visible" steps.append(step)sliders = [dict( active = 10, currentvalue = {"prefix": "Frequency: "}, pad = {"t": 50}, steps = steps)]layout = dict(sliders = sliders)fig = dict(data = data, layout = layout)py.iplot(fig, filename = 'Sina Wave Slider')
此外，IPython widgets 可以給notebook添加 silder， widget， 搜索框等。更多信息請(qǐng)參閱 widget docs 。為了讓其他人能夠訪問(wèn)你的工作，他們需要IPython，或者你可以使用基于云的NB選項(xiàng)。
運(yùn)行R代碼
IRkernel是Jupyter的R內(nèi)核，允許在Jupyter筆記本中編寫(xiě)和執(zhí)行R代碼。 檢查 IRkernel文檔 以獲取一些簡(jiǎn)單的安裝說(shuō)明。 安裝IRkernel后，通過(guò)調(diào)用 $ jupyter notebook 打開(kāi)Jupyter Notebook，并使用“新建”下拉列表選擇一個(gè)R筆記本。
完整實(shí)例地址：https://plot.ly/~chelsea_lyn/14069
附加嵌入功能
IPython.display可以嵌入其他功能，如視頻。 例如，從YouTube：
LaTeX
可以通過(guò)將數(shù)學(xué)內(nèi)容用$$包住，來(lái)將LaTeX嵌入notebook中，然后將該單元格作為Markdown cell 運(yùn)行。 例如，下面的 cell 是 $ c = sqrt {a ^ 2 + b ^ 2} $，(左右應(yīng)該是雙dollar符號(hào)，但這里打雙dollar，km就出錯(cuò)無(wú)法保存文章了==)但Notebook會(huì)呈現(xiàn)表達(dá)式。
或者可以在python的輸出中展示，請(qǐng)參閱：here
導(dǎo)出和發(fā)布 notebook
可以將Notebook導(dǎo)出為HTML，PDF，.py，.ipynb，Markdown和reST文件。 也可以將NB 轉(zhuǎn)換成幻燈片。 可以在Plotly上發(fā)布Jupyter notebook。 只需訪問(wèn) plot.ly并選擇右上角的 + Create 按鈕。 選擇 notebook 并上傳Jupyter notebook（.ipynb）文件！ 上傳的筆記本將存儲(chǔ)在你的 Plotly organize folder 中，并托管在一個(gè)唯一的鏈接，能快速和簡(jiǎn)單分享。下面是一些例子：
https://plot.ly/~chelsea_lyn/14066
https://plot.ly/~notebook_demo/35
https://plot.ly/~notebook_demo/85
https://plot.ly/~notebook_demo/128
Publishing Dashboards
發(fā)布交互式圖形的用戶(hù)也可以使用 Plotly’s dashboarding tool 工具來(lái)繪制和拖放界面。 這些 dashboards 可以發(fā)布，嵌入和共享。
Publishing Dash Apps
對(duì)于希望傳播和生產(chǎn)Python應(yīng)用程序的用戶(hù)，dash 是Flask，Socketio，Jinja，Plotly和 boiler plate CSS and JS的集合，用于通過(guò)Python數(shù)據(jù)分析后端輕松創(chuàng)建數(shù)據(jù)可視化Web應(yīng)用程序。
Jupyter Gallery
對(duì)于更多Jupyter教程，請(qǐng)查看 Plotly’s python documentation：所有文檔都是用jupyter notebook 編寫(xiě)的，可以自行下載并運(yùn)行，或者查看 user submitted examples!
Python程序員最常犯的10個(gè)錯(cuò)誤，你中招了嗎？ 互聯(lián)網(wǎng)視頻課程
大數(shù)據(jù)文摘作品
編譯：什錦甜、Gao Ning、小魚(yú)
Python簡(jiǎn)介
Python是一種具有動(dòng)態(tài)語(yǔ)義的、面向?qū)ο蟮慕忉屝透呒?jí)編程語(yǔ)言。因其內(nèi)置了高級(jí)數(shù)據(jù)結(jié)構(gòu)，并支持動(dòng)態(tài)類(lèi)型和動(dòng)態(tài)綁定，使用Python進(jìn)行快速應(yīng)用程序開(kāi)發(fā)十分便利。同時(shí)作為一門(mén)腳本語(yǔ)言，它兼容部分現(xiàn)有的組件和服務(wù)。Python還支持模塊和各種庫(kù)的擴(kuò)展，有助于實(shí)現(xiàn)模塊化編程和提高代碼復(fù)用率。
關(guān)于本文
剛接觸這門(mén)語(yǔ)言的新手可能會(huì)對(duì)Python簡(jiǎn)潔靈活的語(yǔ)法有些不適應(yīng)，或是低估了Python強(qiáng)大的性能。鑒于此，本文列出了Python開(kāi)發(fā)人員常犯的10個(gè)小錯(cuò)誤，資深程序猿也難免會(huì)中招哦。
本文供Python高級(jí)開(kāi)發(fā)人員參考，Python小白可以參考下面這篇文章：
http://onlamp/pub/a/python/2004/02/05/learn_python.html
常見(jiàn)錯(cuò)誤1：濫用表達(dá)式作為函數(shù)參數(shù)的默認(rèn)值
Python允許開(kāi)發(fā)者指定函數(shù)參數(shù)的默認(rèn)值，這也是Python的一大特色，但當(dāng)默認(rèn)值可變時(shí)，可能會(huì)給開(kāi)發(fā)者帶來(lái)一些困擾。例如下面定義的函數(shù)：
>>> def foo(bar=[]): # bar is optional and defaults to [] if not specified... bar.append("baz") # but this line could be problematic, as we'll see...... return bar
看出bug了嗎？那就是在每次調(diào)用函數(shù)前沒(méi)有對(duì)可變參數(shù)進(jìn)行賦值，而認(rèn)為該參數(shù)就是默認(rèn)值。比如上面的代碼，有人可能期望在反復(fù)調(diào)用foo()時(shí)返回'baz'，以為每次調(diào)用foo()時(shí)，bar的值都為[]，即一個(gè)空列表。
但是，讓我們來(lái)看看代碼運(yùn)行結(jié)果：
>>> foo()["baz"]>>> foo()["baz", "baz"]>>> foo()["baz", "baz", "baz"]
嗯？為什么每次調(diào)用foo()后會(huì)不斷把"baz"添加到已有的列表，而不是新建一個(gè)新列表呢？答案就是，函數(shù)參數(shù)的默認(rèn)值僅在定義函數(shù)時(shí)執(zhí)行一次。因此，僅在第一次定義foo()時(shí)，bar初始化為默認(rèn)值（即空列表），此后，每次調(diào)用foo()函數(shù)時(shí)，參數(shù)bar都是第一次初始化時(shí)生成的列表。
常見(jiàn)的解決方案：
>>> def foo(bar=None):... if bar is None: # or if not bar:... bar = []... bar.append("baz")... return bar...>>> foo()["baz"]>>> foo()["baz"]>>>foo()["baz"]
常見(jiàn)錯(cuò)誤2：錯(cuò)誤地使用類(lèi)變量
代碼示例：
>>> class A(object):... x = 1...>>> class B(A):... pass...>>> class C(A):... pass...>>> print A.x, B.x, C.x1 1 1
運(yùn)行結(jié)果沒(méi)問(wèn)題。
>>> B.x = 2>>> print A.x, B.x, C.x1 2 1
結(jié)果也正確。
>>> A.x = 3>>> print A.x, B.x, C.x3 2 3
什么鬼？我們只改變了A.x.，為什么C.x 也變了？
在Python中，類(lèi)變量是以字典形式進(jìn)行內(nèi)部處理，遵循方法解析順序（Method Resolution Order ，MRO）。因此，在上述代碼中，因?yàn)樵陬?lèi)C中沒(méi)有找到屬性x，它就會(huì)從父類(lèi)中查找x的值（盡管Python支持多重繼承，但上述代碼只存在一個(gè)父類(lèi)A）。換句話說(shuō)，C沒(méi)有獨(dú)立于類(lèi)A的屬于自己的x。因此，C.x實(shí)際上指的是A.x。除非處理得當(dāng)，否則就會(huì)導(dǎo)致Python出現(xiàn)錯(cuò)誤。
如果想更深入了解Python的類(lèi)特性，請(qǐng)戳：
https://toptal/python/python-class-attributes-an-overly-thorough-guide
常見(jiàn)錯(cuò)誤3：錯(cuò)誤指定異常代碼塊的參數(shù)
假設(shè)你有如下代碼：
>>> try:... l = ["a", "b"]... int(l[2])... except ValueError, IndexError: # To catch both exceptions, right?... pass...Traceback (most recent call last):File "
這里的問(wèn)題是except語(yǔ)句不接受以這種方式指定的異常列表。在Python2.x中，except Exception語(yǔ)句中變量e可用來(lái)把異常信息綁定到第二個(gè)可選參數(shù)上，以便進(jìn)一步查看異常的情況。因此，在上述代碼中，except語(yǔ)句并沒(méi)有捕捉到IndexError異常；而是將出現(xiàn)的異常綁定到了參數(shù)IndexError中。
想在一個(gè)except語(yǔ)句同時(shí)捕捉到多個(gè)異常的正確方式是，將第一個(gè)參數(shù)指定為元組，并將要捕捉的異常類(lèi)型都寫(xiě)入該元組中。為了方便起見(jiàn)，可以使用as關(guān)鍵字，Python 2 和Python 3都支持這種語(yǔ)法格式：
>>> try:... l = ["a", "b"]... int(l[2])... except (ValueError, IndexError) as e: ... pass...>>>
常見(jiàn)錯(cuò)誤4：錯(cuò)誤理解Python中變量的作用域
Python變量作用域遵循LEGB規(guī)則，LEGB是Local，Enclosing，Global，Builtin的縮寫(xiě)，分別代表本地作用域、封閉作用域、全局作用域和內(nèi)置作用域，這個(gè)規(guī)則看起來(lái)一目了然。事實(shí)上，Python的這種工作方式較為獨(dú)特，會(huì)導(dǎo)致一些編程錯(cuò)誤，例如：
>>> x = 10>>> def foo():... x += 1... print x...>>> foo()Traceback (most recent call last):File "
問(wèn)題出在哪？
上面的錯(cuò)誤是因?yàn)樵谧饔糜騼?nèi)對(duì)變量賦值時(shí)，Python自動(dòng)將該變量視為該作用域的本地變量，并對(duì)外部定義的同名變量進(jìn)行了屏蔽。因此，原本正確的代碼，在某個(gè)函數(shù)內(nèi)部添加了一個(gè)賦值語(yǔ)句后，卻意外收到了UnboundLocalError的報(bào)錯(cuò)信息。
關(guān)于UnboundLocalError更多內(nèi)容請(qǐng)戳：
https://docs.python.org/2/faq/programming.html#why-am-i-getting-an-unboundlocalerror-when-the-variable-has-a-value
在使用列表時(shí)，Python程序員更容易掉入此類(lèi)陷阱，例如：
>>> lst = [1, 2, 3]>>> def foo1():... lst.append(5) # This works ok......>>> foo1()>>> lst[1, 2, 3, 5]>>> lst = [1, 2, 3]>>> def foo2():... lst += [5] # ... but this bombs!...>>> foo2()Traceback (most recent call last):File "
奇怪，為什么foo1正常運(yùn)行，而foo2崩潰了呢？
原因和上一個(gè)案例中出現(xiàn)的問(wèn)題相似，但這里的錯(cuò)誤更加細(xì)微。函數(shù)foo1沒(méi)有對(duì)變量lst進(jìn)行賦值操作，而函數(shù)foo2有賦值操作。
首先， lst += [5]是lst = lst + [5]的縮寫(xiě)形式，在函數(shù)foo2中試圖對(duì)變量lst進(jìn)行賦值操作（Python將變量lst默認(rèn)為本地作用域的變量）。但是，lst += [5]語(yǔ)句是對(duì)lst變量自身進(jìn)行的賦值操作（此時(shí)變量lst的作用域是函數(shù)foo2），但是在函數(shù)foo2中還未聲明該變量，所以就報(bào)錯(cuò)啦！
常見(jiàn)錯(cuò)誤5:在遍歷列表時(shí)修改列表
下面代碼中的錯(cuò)誤很明顯：
>>> odd = lambda x : bool(x % 2)>>> numbers = [n for n in range(10)]>>> for i in range(len(numbers)):... if odd(numbers[i]):... del numbers[i] # BAD: Deleting item from a list while iterating over it...Traceback (most recent call last):File "
有經(jīng)驗(yàn)的程序員都知道，在Python中遍歷列表或數(shù)組時(shí)不應(yīng)該刪除該列表（數(shù)組）中的元素。雖然上面代碼的錯(cuò)誤很明顯，但是在編寫(xiě)復(fù)雜代碼時(shí)，資深程序員也難免會(huì)犯此類(lèi)錯(cuò)誤。
幸好Python集成了大量經(jīng)典的編程范式，如果運(yùn)用得當(dāng)，可以大大簡(jiǎn)化代碼并提高編程效率。簡(jiǎn)單的代碼會(huì)降低出現(xiàn)上述bug的幾率。列表解析式（list comprehensions）就是利器之一，它將完美避開(kāi)上述bug，解決方案如下：
>>> odd = lambda x : bool(x % 2)>>> numbers = [n for n in range(10)]>>> numbers[:] = [n for n in numbers if not odd(n)] # ahh, the beauty of it all>>> numbers[0, 2, 4, 6, 8]
更多有關(guān)列表解析式的詳細(xì)內(nèi)容，請(qǐng)戳：https://docs.python.org/2/tutorial/datastructures.html#tut-listcomps
常見(jiàn)錯(cuò)誤6：不理解Python閉包中的變量綁定
代碼示例：
>>> def create_multipliers():... return [lambda x : i * x for i in range(5)]>>> for multiplier in create_multipliers():... print multiplier(2)...
你以為運(yùn)行結(jié)果會(huì)是：
02468
但實(shí)際輸出結(jié)果是：8
8888
驚不驚喜！
這種情況是由于Python延遲綁定（late binding）機(jī)制造成的，也就是說(shuō)只有在內(nèi)部函數(shù)被調(diào)用時(shí)才會(huì)搜索閉包中變量的值。所以在上述代碼中，每次調(diào)用create_multipliers()函數(shù)中的return函數(shù)時(shí)，會(huì)在附近作用域中查詢(xún)變量i的值。（此時(shí)，return中循環(huán)已結(jié)束，所以i值為4）。
常見(jiàn)解決方案：
>>> def create_multipliers():... return [lambda x, i=i : i * x for i in range(5)]...>>> for multiplier in create_multipliers():... print multiplier(2)...02468
沒(méi)錯(cuò)！我們利用了匿名函數(shù)lambda的默認(rèn)參數(shù)來(lái)生成結(jié)果序列。有人覺(jué)得這種用法很簡(jiǎn)潔，有人會(huì)說(shuō)它很巧妙，還有人會(huì)覺(jué)得晦澀難懂。如果你是Python開(kāi)發(fā)人員，那么深刻理解上述語(yǔ)法對(duì)你而言非常重要。
常見(jiàn)錯(cuò)誤7：模塊之間出現(xiàn)循環(huán)依賴(lài)
假設(shè)你有兩個(gè)文件，分別是a.py和b.py，兩者相互導(dǎo)入，如下所示：
a.py模塊中的代碼：
import bdef f():return b.xprint f()
b.py模塊中的代碼：
import ax = 1def g():print a.f()
首先，我們嘗試導(dǎo)入a.py：
>>> import a1
運(yùn)行結(jié)果正確！這似乎有點(diǎn)出人意料，因?yàn)槲覀冊(cè)谶@里進(jìn)行循環(huán)導(dǎo)入，應(yīng)該會(huì)報(bào)錯(cuò)呀！
答案是，在Python中如果僅存在一個(gè)循環(huán)導(dǎo)入，程序不會(huì)報(bào)錯(cuò)。如果一個(gè)模塊已經(jīng)被導(dǎo)入，Python會(huì)自動(dòng)識(shí)別而不會(huì)再次導(dǎo)入。但是如果每個(gè)模塊試圖訪問(wèn)其他模塊不同位置的函數(shù)或變量時(shí)，那么Error又雙叒叕出現(xiàn)了。
回到上面的示例中，當(dāng)導(dǎo)入a.py模塊時(shí)，程序可以正常導(dǎo)入b.py模塊，因?yàn)榇藭r(shí)b.py模塊未訪問(wèn)a.py中定義任何的變量或函數(shù)。b.py模塊僅引用了a.py模中的a.f()函數(shù)。調(diào)用的a.f()函數(shù)隸屬于g()函數(shù)，而a.py或b.py模塊中并沒(méi)有調(diào)用g()函數(shù)。所以程序沒(méi)有報(bào)錯(cuò)。
但是，如果我們?cè)谖磳?dǎo)入a.py模塊之前先導(dǎo)入b.py模塊，結(jié)果會(huì)怎樣？
>>> import bTraceback (most recent call last):File "
報(bào)錯(cuò)了！問(wèn)題在于，在導(dǎo)入b.py的過(guò)程中，它試圖導(dǎo)入a.py模塊，而a.py模塊會(huì)調(diào)用f()函數(shù)，f()函數(shù)又試圖訪問(wèn)b.x變量。但此時(shí)，還未對(duì)變量b.x進(jìn)行定義，所以出現(xiàn)了AttributeError異常。
稍微修改下b.py，即在g()函數(shù)內(nèi)部導(dǎo)入a.py就可以解決上述問(wèn)題。
修改后的b.py：
x = 1def g():
import a # This will be evaluated only when g() is calledprint a.f()
現(xiàn)在我們?cè)賹?dǎo)入b.py模塊，就不會(huì)報(bào)錯(cuò)啦！
>>> import b>>> b.g()1 # Printed a first time since module 'a' calls 'print f()' at the end1 # Printed a second time, this one is our call to 'g'
常見(jiàn)錯(cuò)誤8：文件命名與Python標(biāo)準(zhǔn)庫(kù)模塊的名稱(chēng)沖突
Python的優(yōu)勢(shì)之一就是其集成了豐富的標(biāo)準(zhǔn)庫(kù)。正因?yàn)槿绱?，稍不留神就?huì)在為自己的文件命名時(shí)與Python自帶標(biāo)準(zhǔn)庫(kù)模塊重名。例如，如果你的代碼中有一個(gè)名為email.py的模塊，恰好就和Python標(biāo)準(zhǔn)庫(kù)中email.py模塊重名了。）
上述問(wèn)題比較復(fù)雜。舉個(gè)例子，在導(dǎo)入模塊A的時(shí)候，假如該模塊A試圖導(dǎo)入Python標(biāo)準(zhǔn)庫(kù)中的模塊B，但你已經(jīng)定義了一個(gè)同名模塊B，模塊A會(huì)錯(cuò)誤導(dǎo)入你自定義的模塊B，而不是Python標(biāo)準(zhǔn)庫(kù)中的模塊B。這種錯(cuò)誤很糟糕，因?yàn)槌绦騿T很難察覺(jué)到是因?yàn)槊麤_突而導(dǎo)致的。
因此，Python程序員要注意避免與Python標(biāo)準(zhǔn)庫(kù)模塊的命名沖突。畢竟，修改自己模塊的名稱(chēng)比修改標(biāo)準(zhǔn)庫(kù)的名稱(chēng)要容易的多！當(dāng)然你也可以寫(xiě)一份Python改善建議書(shū)（Python Enhancement Proposal，PEP）提議修改標(biāo)準(zhǔn)庫(kù)的名稱(chēng)。
常見(jiàn)錯(cuò)誤9：不熟悉Python2和Python3之間的差異
先來(lái)看看foo.py文件中的代碼：
import sysdef bar(i):if i == 1: raise KeyError(1) if i == 2: raise ValueError(2)def bad(): e = None try: bar(int(sys.argv[1])) except KeyError as e: print('key error') except ValueError as e: print('value error') print(e)bad()
在Python 2中，上述代碼運(yùn)行正常
$ python foo.py 1key error1$ python foo.py 2value error2
但是在Python 3中運(yùn)行時(shí)：
$ python3 foo.py 1key errorTraceback (most recent call last):File "foo.py", line 19, in
什么情況？原來(lái)，在Python 3中，在except代碼塊作用域外無(wú)法訪問(wèn)異常對(duì)象。（原因是，Python 3會(huì)將內(nèi)存堆棧中的循環(huán)引用進(jìn)行保留，直到垃圾回收...
在Python 2.7即將停止支持時(shí)，我們?yōu)槟銣?zhǔn)備了一份3.x遷移指南 行業(yè)視頻課程
機(jī)器之心編譯
目前，Python 科學(xué)棧中的所有主要項(xiàng)目都同時(shí)支持 Python 3.x 和 Python 2.7，不過(guò)，這種情況很快即將結(jié)束。去年 11 月，Numpy 團(tuán)隊(duì)的一份聲明引發(fā)了數(shù)據(jù)科學(xué)社區(qū)的關(guān)注：這一科學(xué)計(jì)算庫(kù)即將放棄對(duì)于 Python 2.7 的支持，全面轉(zhuǎn)向 Python 3。Numpy 并不是唯一宣稱(chēng)即將放棄 Python 舊版本支持的工具，pandas 與 Jupyter notebook 等很多產(chǎn)品也在即將放棄支持的名單之中。對(duì)于數(shù)據(jù)科學(xué)開(kāi)發(fā)者而言，如何將已有項(xiàng)目從 Python 2 轉(zhuǎn)向 Python 3 成為了正在面臨的重大問(wèn)題。來(lái)自莫斯科大學(xué)的 Alex Rogozhnikov 博士為我們整理了一份代碼遷移指南。
Python 3 功能簡(jiǎn)介
Python 是機(jī)器學(xué)習(xí)和其他科學(xué)領(lǐng)域中的主流語(yǔ)言，我們通常需要使用它處理大量的數(shù)據(jù)。Python 兼容多種深度學(xué)習(xí)框架，且具備很多優(yōu)秀的工具來(lái)執(zhí)行數(shù)據(jù)預(yù)處理和可視化。
但是，Python 2 和 Python 3 長(zhǎng)期共存于 Python 生態(tài)系統(tǒng)中，很多數(shù)據(jù)科學(xué)家仍然使用 Python 2。2019 年底，Numpy 等很多科學(xué)計(jì)算工具都將停止支持 Python 2，而 2018 年后 Numpy 的所有新功能版本將只支持 Python 3。
為了使 Python 2 向 Python 3 的轉(zhuǎn)換更加輕松，我收集了一些 Python 3 的功能，希望對(duì)大家有用。
使用 pathlib 更好地處理路徑
pathlib 是 Python 3 的默認(rèn)模塊，幫助避免使用大量的 os.path.joins：
from pathlib importPath
dataset ='wiki_images'
datasets_root =Path('/path/to/datasets/')
train_path = datasets_root / dataset /'train'
test_path = datasets_root / dataset /'test'
for image_path in train_path.iterdir():
with image_path.open()as f:# note, open is a method of Path object
# do something with an image
Python 2 總是試圖使用字符串級(jí)聯(lián)（準(zhǔn)確，但不好），現(xiàn)在有了 pathlib，代碼安全、準(zhǔn)確、可讀性強(qiáng)。
此外，pathlib.Path 具備大量方法，這樣 Python 新用戶(hù)就不用每個(gè)方法都去搜索了：
p.exists()
p.is_dir()
p.parts()
p.with_name('sibling.png')# only change the name, but keep the folder
p.with_suffix('.jpg')# only change the extension, but keep the folder and the name
p.chmod(mode)
p.rmdir()
pathlib 會(huì)節(jié)約大量時(shí)間，詳見(jiàn)：
文檔：https://docs.python.org/3/library/pathlib.html；
參考信息：https://pymotw/3/pathlib/。
類(lèi)型提示（Type hinting）成為語(yǔ)言的一部分
PyCharm 中的類(lèi)型提示示例：
Python 不只是適合腳本的語(yǔ)言，現(xiàn)在的數(shù)據(jù)流程還包括大量步驟，每一步都包括不同的框架（有時(shí)也包括不同的邏輯）。
類(lèi)型提示被引入 Python，以幫助處理越來(lái)越復(fù)雜的項(xiàng)目，使機(jī)器可以更好地進(jìn)行代碼驗(yàn)證。而之前需要不同的模塊使用自定義方式在文檔字符串中指定類(lèi)型（注意：PyCharm 可以將舊的文檔字符串轉(zhuǎn)換成新的類(lèi)型提示）。
下列代碼是一個(gè)簡(jiǎn)單示例，可以處理不同類(lèi)型的數(shù)據(jù)（這就是我們喜歡 Python 數(shù)據(jù)棧之處）。
def repeat_each_entry(data):
""" Each entry in the data is doubled
"""
index = numpy.repeat(numpy.arange(len(data)),2)
return data[index]
上述代碼適用于 numpy.array（包括多維）、astropy.Table 和 astropy.Column、bcolz、cupy、mxnet.ndarray 等。
該代碼同樣可用于 pandas.Series，但是方式是錯(cuò)誤的：
repeat_each_entry(pandas.Series(data=[0,1,2], index=[3,4,5]))# returns Series with Nones inside
這是一個(gè)兩行代碼。想象一下復(fù)雜系統(tǒng)的行為多么難預(yù)測(cè)，有時(shí)一個(gè)函數(shù)就可能導(dǎo)致錯(cuò)誤的行為。明確了解哪些類(lèi)型方法適合大型系統(tǒng)很有幫助，它會(huì)在函數(shù)未得到此類(lèi)參數(shù)時(shí)給出提醒。
def repeat_each_entry(data:Union[numpy.ndarray, bcolz.carray]):
如果你有一個(gè)很棒的代碼庫(kù)，類(lèi)型提示工具如 MyPy 可能成為集成流程中的一部分。不幸的是，提示沒(méi)有強(qiáng)大到足以為 ndarrays/tensors 提供細(xì)粒度類(lèi)型，但是或許我們很快就可以擁有這樣的提示工具了，這將是 DS 的偉大功能。
類(lèi)型提示 → 運(yùn)行時(shí)的類(lèi)型檢查
默認(rèn)情況下，函數(shù)注釋不會(huì)影響代碼的運(yùn)行，不過(guò)它也只能幫你指出代碼的意圖。
但是，你可以在運(yùn)行時(shí)中使用 enforce 等工具強(qiáng)制進(jìn)行類(lèi)型檢查，這可以幫助你調(diào)試代碼（很多情況下類(lèi)型提示不起作用）。
@enforce.runtime_validation
def foo(text: str)->None:
print(text)
foo('Hi')# ok
foo(5)# fails
@enforce.runtime_validation
def any2(x:List[bool])->bool:
return any(x)
any ([False,False,True,False])# True
any2([False,False,True,False])# True
any (['False'])# True
any2(['False'])# fails
any ([False,None,"",0])# False
any2([False,None,"",0])# fails
函數(shù)注釋的其他用處
如前所述，注釋不會(huì)影響代碼執(zhí)行，而且會(huì)提供一些元信息，你可以隨意使用。
例如，計(jì)量單位是科學(xué)界的一個(gè)普遍難題，astropy 包提供一個(gè)簡(jiǎn)單的裝飾器（Decorator）來(lái)控制輸入量的計(jì)量單位，并將輸出轉(zhuǎn)換成所需單位。
# Python 3
from astropy import units as u
@u.quantity_input()
def frequency(speed: u.meter / u.s, wavelength: u.m)->u.terahertz:
return speed / wavelength
frequency(speed=300_000 * u.km / u.s, wavelength=555* u.nm)
# output: 540.5405405405404 THz, frequency of green visible light
如果你擁有 Python 表格式科學(xué)數(shù)據(jù)（不必要太多），你應(yīng)該嘗試一下 astropy。你還可以定義針對(duì)某個(gè)應(yīng)用的裝飾器，用同樣的方式來(lái)控制／轉(zhuǎn)換輸入和輸出。
通過(guò) @ 實(shí)現(xiàn)矩陣乘法
下面，我們實(shí)現(xiàn)一個(gè)最簡(jiǎn)單的機(jī)器學(xué)習(xí)模型，即帶 L2 正則化的線性回歸：
# l2-regularized linear regression: || AX - b ||^2 + alpha * ||x||^2 ->min
# Python 2
X = np.linalg.inv(np.dot(A.T, A)+ alpha * np.eye(A.shape[1])).dot(A.T.dot(b))
# Python 3
X = np.linalg.inv(A.T @ A + alpha * np.eye(A.shape[1]))@(A.T @ b)
下面 Python 3 帶有 @ 作為矩陣乘法的符號(hào)更具有可讀性，且更容易在深度學(xué)習(xí)框架中轉(zhuǎn)譯：因?yàn)橐恍┤?X @ W + b[None, :] 的代碼在 numpy、cupy、pytorch 和 tensorflow 等不同庫(kù)下都表示單層感知機(jī)。
使用 ** 作為通配符
遞歸文件夾的通配符在 Python2 中并不是很方便，因此才存在定制的 glob2 模塊來(lái)克服這個(gè)問(wèn)題。遞歸 flag 在 Python 3.6 中得到了支持。
import glob
# Python 2
found_images = \
glob.glob('/path*.jpg') \
+ glob.glob('/path*.jpg') \
+ glob.glob('/path***.jpg')
# Python 3
found_images = glob.glob('/path*.jpg', recursive=True)
python3 中更好的選擇是使用 pathlib：
# Python 3
found_images = pathlib.Path('/path/').glob('**/*.jpg')
Print 在 Python3 中是函數(shù)
Python 3 中使用 Print 需要加上麻煩的圓括弧，但它還是有一些優(yōu)點(diǎn)。
使用文件描述符的簡(jiǎn)單句法：
print>>sys.stderr,"critical error"# Python 2
print("critical error", file=sys.stderr)# Python 3
在不使用 str.join 下輸出 tab-aligned 表格：
# Python 3
print(*array, sep='\t')
print(batch, epoch, loss, accuracy, time, sep='\t')
修改與重新定義 print 函數(shù)的輸出：
# Python 3
_print =print# store the original print function
defprint(*args,**kargs):
pass# do something useful, e.g. store output to some file
在 Jupyter 中，非常好的一點(diǎn)是記錄每一個(gè)輸出到獨(dú)立的文檔，并在出現(xiàn)錯(cuò)誤的時(shí)候追蹤出現(xiàn)問(wèn)題的文檔，所以我們現(xiàn)在可以重寫(xiě) print 函數(shù)了。
在下面的代碼中，我們可以使用上下文管理器暫時(shí)重寫(xiě) print 函數(shù)的行為：
@contextlib.contextmanager
def replace_print():
import builtins
_print =print# saving old print function
# or use some other function here
builtins.print=lambda*args,**kwargs: _print('new printing',*args,**kwargs)
yield
builtins.print= _print
with replace_print():
上面并不是一個(gè)推薦的方法，因?yàn)樗鼤?huì)引起系統(tǒng)的不穩(wěn)定。
print 函數(shù)可以加入列表解析和其它語(yǔ)言構(gòu)建結(jié)構(gòu)。
# Python 3
result = process(x)if is_valid(x)elseprint('invalid item: ', x)
f-strings 可作為簡(jiǎn)單和可靠的格式化
默認(rèn)的格式化系統(tǒng)提供了一些靈活性，且在數(shù)據(jù)實(shí)驗(yàn)中不是必須的。但這樣的代碼對(duì)于任何修改要么太冗長(zhǎng)，要么就會(huì)變得很零碎。而代表性的數(shù)據(jù)科學(xué)需要以固定的格式迭代地輸出一些日志信息，通常需要使用的代碼如下：
# Python 2
print('{batch:3} {epoch:3} / {total_epochs:3} accuracy: {acc_mean:0.4f}±{acc_std:0.4f} time: {avg_time:3.2f}'.format(
batch=batch, epoch=epoch, total_epochs=total_epochs,
acc_mean=numpy.mean(accuracies), acc_std=numpy.std(accuracies),
avg_time=time / len(data_batch)
))
# Python 2 (too error-prone during fast modifications, please avoid):
print('{:3} {:3} / {:3} accuracy: {:0.4f}±{:0.4f} time: {:3.2f}'.format(
batch, epoch, total_epochs, numpy.mean(accuracies), numpy.std(accuracies),
time / len(data_batch)
))
樣本輸出：
12012/300 accuracy:0.8180±0.4649 time:56.60
f-strings 即格式化字符串在 Python 3.6 中被引入：
# Python 3.6+
print(f'{batch:3} {epoch:3} / {total_epochs:3} accuracy: {numpy.mean(accuracies):0.4f}±{numpy.std(accuracies):0.4f} time: {time / len(data_batch):3.2f}')
另外，寫(xiě)查詢(xún)語(yǔ)句時(shí)非常方便：
query = f"INSERT INTO STATION VALUES (13, '{city}', '{state}', {latitude}, {longitude})"
「true pision」和「integer pision」之間的明顯區(qū)別
對(duì)于數(shù)據(jù)科學(xué)來(lái)說(shuō)這種改變帶來(lái)了便利（但我相信對(duì)于系統(tǒng)編程來(lái)說(shuō)不是）。
data = pandas.read_csv('timing.csv')
velocity = data['distance']/ data['time']
Python 2 中的結(jié)果依賴(lài)于『時(shí)間』和『距離』（例如，以米和秒為單位）是否被保存為整數(shù)。
在 Python 3 中，結(jié)果的表示都是精確的，因?yàn)槌ǖ慕Y(jié)果是浮點(diǎn)數(shù)。
另一個(gè)案例是整數(shù)除法，現(xiàn)在已經(jīng)作為明確的運(yùn)算：
n_gifts = money // gift_price # correct for int and float arguments
注意，該運(yùn)算可以應(yīng)用到內(nèi)建類(lèi)型和由數(shù)據(jù)包（例如，numpy 或 pandas）提供的自定義類(lèi)型。
嚴(yán)格排序
# All these comparisons are illegal in Python 3
3<'3'
2 (3,4)<(3,None) (4,5)<[4,5] # False in both Python 2 and Python 3 (4,5)==[4,5] 防止不同類(lèi)型實(shí)例的偶然性的排序。 sorted([2,'1',3])# invalid for Python 3, in Python 2 returns [2, 3, '1'] 在處理原始數(shù)據(jù)時(shí)幫助發(fā)現(xiàn)存在的問(wèn)題。 旁注：對(duì) None 的合適檢查是（兩個(gè)版本的 Python 都適用）： if a isnotNone: pass if a:# WRONG check for None pass 自然語(yǔ)言處理的 Unicode s ='您好' print(len(s)) print(s[:2]) 輸出： Python 2: 6\n Python 3: 2\n 您好. x = u'со' x +='co'# ok x +='со'# fail Python 2 在此失敗了，而 Python 3 可以如期工作（因?yàn)槲以谧址惺褂昧硕砦淖帜福?/p> 在 Python 3 中 strs 是 Unicode 字符串，對(duì)非英語(yǔ)文本的 NLP 處理更加方便。 還有其它有趣的方面，例如： 'a'< type < u'a'# Python 2: True 'a'< u'a'# Python 2: False from collections importCounter Counter('Mbelstück') Python 2: Counter({'\xc3': 2, 'b': 1, 'e': 1, 'c': 1, 'k': 1, 'M': 1, 'l': 1, 's': 1, 't': 1, '\xb6': 1, '\xbc': 1}) Python 3: Counter({'M': 1, '': 1, 'b': 1, 'e': 1, 'l': 1, 's': 1, 't': 1, 'ü': 1, 'c': 1, 'k': 1}) 這些在 Python 2 里也能正確地工作，但 Python 3 更為友好。 保留詞典和**kwargs 的順序 在 CPython 3.6+ 版本中，字典的默認(rèn)行為類(lèi)似于 OrderedDict（在 3.7+版本中已得到保證）。這在字典理解（和其他操作如 json 序列化/反序列化期間）保持順序。 import json x ={str(i):i for i in range(5)} json.loads(json.dumps(x)) # Python 2 {u'1':1, u'0':0, u'3':3, u'2':2, u'4':4} # Python 3 {'0':0,'1':1,'2':2,'3':3,'4':4} 它同樣適用于**kwargs（在 Python 3.6+版本中）：它們的順序就像參數(shù)中顯示的那樣。當(dāng)設(shè)計(jì)數(shù)據(jù)流程時(shí)，順序至關(guān)重要，以前，我們必須以這樣繁瑣的方式來(lái)編寫(xiě)： from torch import nn # Python 2 model = nn.Sequential(OrderedDict([ ('conv1', nn.Conv2d(1,20,5)), ('relu1', nn.ReLU()), ('conv2', nn.Conv2d(20,64,5)), ('relu2', nn.ReLU()) ])) # Python 3.6+, how it *can* be done, not supported right now in pytorch model = nn.Sequential( conv1=nn.Conv2d(1,20,5), relu1=nn.ReLU(), conv2=nn.Conv2d(20,64,5), relu2=nn.ReLU()) ) 注意到了嗎？名稱(chēng)的唯一性也會(huì)被自動(dòng)檢查。 迭代地拆封 # handy when amount of additional stored info may vary between experiments, but the same code can be used in all cases model_paramteres, optimizer_parameters,*other_params = load(checkpoint_name) # picking two last values from a sequence *prev, next_to_last, last = values_history # This also works with any iterables, so if you have a function that yields e.g. qualities, # below is a simple way to take only last two values from a list *prev, next_to_last, last = iter_train(args) 默認(rèn)的 pickle 引擎為數(shù)組提供更好的壓縮 # Python 2 import cPickle as pickle import numpy print len(pickle.dumps(numpy.random.normal(size=[1000,1000]))) # result: 23691675 # Python 3 import pickle import numpy len(pickle.dumps(numpy.random.normal(size=[1000,1000]))) # result: 8000162 節(jié)省 3 倍空間，而且速度更快。實(shí)際上，類(lèi)似的壓縮（不過(guò)與速度無(wú)關(guān)）可以通過(guò) protocol=2 參數(shù)來(lái)實(shí)現(xiàn)，但是用戶(hù)?...
Python程序員最常犯的10個(gè)錯(cuò)誤，你中招了嗎？ 企業(yè)視頻課程
大數(shù)據(jù)文摘作品
編譯：什錦甜、Gao Ning、小魚(yú)
Python簡(jiǎn)介
Python是一種具有動(dòng)態(tài)語(yǔ)義的、面向?qū)ο蟮慕忉屝透呒?jí)編程語(yǔ)言。因其內(nèi)置了高級(jí)數(shù)據(jù)結(jié)構(gòu)，并支持動(dòng)態(tài)類(lèi)型和動(dòng)態(tài)綁定，使用Python進(jìn)行快速應(yīng)用程序開(kāi)發(fā)十分便利。同時(shí)作為一門(mén)腳本語(yǔ)言，它兼容部分現(xiàn)有的組件和服務(wù)。Python還支持模塊和各種庫(kù)的擴(kuò)展，有助于實(shí)現(xiàn)模塊化編程和提高代碼復(fù)用率。
關(guān)于本文
剛接觸這門(mén)語(yǔ)言的新手可能會(huì)對(duì)Python簡(jiǎn)潔靈活的語(yǔ)法有些不適應(yīng)，或是低估了Python強(qiáng)大的性能。鑒于此，本文列出了Python開(kāi)發(fā)人員常犯的10個(gè)小錯(cuò)誤，資深程序猿也難免會(huì)中招哦。
本文供Python高級(jí)開(kāi)發(fā)人員參考，Python小白可以參考下面這篇文章：
http://onlamp/pub/a/python/2004/02/05/learn_python.html
常見(jiàn)錯(cuò)誤1：濫用表達(dá)式作為函數(shù)參數(shù)的默認(rèn)值
Python允許開(kāi)發(fā)者指定函數(shù)參數(shù)的默認(rèn)值，這也是Python的一大特色，但當(dāng)默認(rèn)值可變時(shí)，可能會(huì)給開(kāi)發(fā)者帶來(lái)一些困擾。例如下面定義的函數(shù)：
>>> def foo(bar=[]): # bar is optional and defaults to [] if not specified... bar.append("baz") # but this line could be problematic, as we'll see...... return bar
看出bug了嗎？那就是在每次調(diào)用函數(shù)前沒(méi)有對(duì)可變參數(shù)進(jìn)行賦值，而認(rèn)為該參數(shù)就是默認(rèn)值。比如上面的代碼，有人可能期望在反復(fù)調(diào)用foo()時(shí)返回'baz'，以為每次調(diào)用foo()時(shí)，bar的值都為[]，即一個(gè)空列表。
但是，讓我們來(lái)看看代碼運(yùn)行結(jié)果：
>>> foo()["baz"]>>> foo()["baz", "baz"]>>> foo()["baz", "baz", "baz"]
嗯？為什么每次調(diào)用foo()后會(huì)不斷把"baz"添加到已有的列表，而不是新建一個(gè)新列表呢？答案就是，函數(shù)參數(shù)的默認(rèn)值僅在定義函數(shù)時(shí)執(zhí)行一次。因此，僅在第一次定義foo()時(shí)，bar初始化為默認(rèn)值（即空列表），此后，每次調(diào)用foo()函數(shù)時(shí)，參數(shù)bar都是第一次初始化時(shí)生成的列表。
常見(jiàn)的解決方案：
>>> def foo(bar=None):... if bar is None: # or if not bar:... bar = []... bar.append("baz")... return bar...>>> foo()["baz"]>>> foo()["baz"]>>>foo()["baz"]
常見(jiàn)錯(cuò)誤2：錯(cuò)誤地使用類(lèi)變量
代碼示例：
>>> class A(object):... x = 1...>>> class B(A):... pass...>>> class C(A):... pass...>>> print A.x, B.x, C.x1 1 1
運(yùn)行結(jié)果沒(méi)問(wèn)題。
>>> B.x = 2>>> print A.x, B.x, C.x1 2 1
結(jié)果也正確。
>>> A.x = 3>>> print A.x, B.x, C.x3 2 3
什么鬼？我們只改變了A.x.，為什么C.x 也變了？
在Python中，類(lèi)變量是以字典形式進(jìn)行內(nèi)部處理，遵循方法解析順序（Method Resolution Order ，MRO）。因此，在上述代碼中，因?yàn)樵陬?lèi)C中沒(méi)有找到屬性x，它就會(huì)從父類(lèi)中查找x的值（盡管Python支持多重繼承，但上述代碼只存在一個(gè)父類(lèi)A）。換句話說(shuō)，C沒(méi)有獨(dú)立于類(lèi)A的屬于自己的x。因此，C.x實(shí)際上指的是A.x。除非處理得當(dāng)，否則就會(huì)導(dǎo)致Python出現(xiàn)錯(cuò)誤。
如果想更深入了解Python的類(lèi)特性，請(qǐng)戳：
https://toptal/python/python-class-attributes-an-overly-thorough-guide
常見(jiàn)錯(cuò)誤3：錯(cuò)誤指定異常代碼塊的參數(shù)
假設(shè)你有如下代碼：
>>> try:... l = ["a", "b"]... int(l[2])... except ValueError, IndexError: # To catch both exceptions, right?... pass...Traceback (most recent call last):File "
這里的問(wèn)題是except語(yǔ)句不接受以這種方式指定的異常列表。在Python2.x中，except Exception語(yǔ)句中變量e可用來(lái)把異常信息綁定到第二個(gè)可選參數(shù)上，以便進(jìn)一步查看異常的情況。因此，在上述代碼中，except語(yǔ)句并沒(méi)有捕捉到IndexError異常；而是將出現(xiàn)的異常綁定到了參數(shù)IndexError中。
想在一個(gè)except語(yǔ)句同時(shí)捕捉到多個(gè)異常的正確方式是，將第一個(gè)參數(shù)指定為元組，并將要捕捉的異常類(lèi)型都寫(xiě)入該元組中。為了方便起見(jiàn)，可以使用as關(guān)鍵字，Python 2 和Python 3都支持這種語(yǔ)法格式：
>>> try:... l = ["a", "b"]... int(l[2])... except (ValueError, IndexError) as e: ... pass...>>>
常見(jiàn)錯(cuò)誤4：錯(cuò)誤理解Python中變量的作用域
Python變量作用域遵循LEGB規(guī)則，LEGB是Local，Enclosing，Global，Builtin的縮寫(xiě)，分別代表本地作用域、封閉作用域、全局作用域和內(nèi)置作用域，這個(gè)規(guī)則看起來(lái)一目了然。事實(shí)上，Python的這種工作方式較為獨(dú)特，會(huì)導(dǎo)致一些編程錯(cuò)誤，例如：
>>> x = 10>>> def foo():... x += 1... print x...>>> foo()Traceback (most recent call last):File "
問(wèn)題出在哪？
上面的錯(cuò)誤是因?yàn)樵谧饔糜騼?nèi)對(duì)變量賦值時(shí)，Python自動(dòng)將該變量視為該作用域的本地變量，并對(duì)外部定義的同名變量進(jìn)行了屏蔽。因此，原本正確的代碼，在某個(gè)函數(shù)內(nèi)部添加了一個(gè)賦值語(yǔ)句后，卻意外收到了UnboundLocalError的報(bào)錯(cuò)信息。
關(guān)于UnboundLocalError更多內(nèi)容請(qǐng)戳：
https://docs.python.org/2/faq/programming.html#why-am-i-getting-an-unboundlocalerror-when-the-variable-has-a-value
在使用列表時(shí)，Python程序員更容易掉入此類(lèi)陷阱，例如：
>>> lst = [1, 2, 3]>>> def foo1():... lst.append(5) # This works ok......>>> foo1()>>> lst[1, 2, 3, 5]>>> lst = [1, 2, 3]>>> def foo2():... lst += [5] # ... but this bombs!...>>> foo2()Traceback (most recent call last):File "
奇怪，為什么foo1正常運(yùn)行，而foo2崩潰了呢？
原因和上一個(gè)案例中出現(xiàn)的問(wèn)題相似，但這里的錯(cuò)誤更加細(xì)微。函數(shù)foo1沒(méi)有對(duì)變量lst進(jìn)行賦值操作，而函數(shù)foo2有賦值操作。
首先， lst += [5]是lst = lst + [5]的縮寫(xiě)形式，在函數(shù)foo2中試圖對(duì)變量lst進(jìn)行賦值操作（Python將變量lst默認(rèn)為本地作用域的變量）。但是，lst += [5]語(yǔ)句是對(duì)lst變量自身進(jìn)行的賦值操作（此時(shí)變量lst的作用域是函數(shù)foo2），但是在函數(shù)foo2中還未聲明該變量，所以就報(bào)錯(cuò)啦！
常見(jiàn)錯(cuò)誤5:在遍歷列表時(shí)修改列表
下面代碼中的錯(cuò)誤很明顯：
>>> odd = lambda x : bool(x % 2)>>> numbers = [n for n in range(10)]>>> for i in range(len(numbers)):... if odd(numbers[i]):... del numbers[i] # BAD: Deleting item from a list while iterating over it...Traceback (most recent call last):File "
有經(jīng)驗(yàn)的程序員都知道，在Python中遍歷列表或數(shù)組時(shí)不應(yīng)該刪除該列表（數(shù)組）中的元素。雖然上面代碼的錯(cuò)誤很明顯，但是在編寫(xiě)復(fù)雜代碼時(shí)，資深程序員也難免會(huì)犯此類(lèi)錯(cuò)誤。
幸好Python集成了大量經(jīng)典的編程范式，如果運(yùn)用得當(dāng)，可以大大簡(jiǎn)化代碼并提高編程效率。簡(jiǎn)單的代碼會(huì)降低出現(xiàn)上述bug的幾率。列表解析式（list comprehensions）就是利器之一，它將完美避開(kāi)上述bug，解決方案如下：
>>> odd = lambda x : bool(x % 2)>>> numbers = [n for n in range(10)]>>> numbers[:] = [n for n in numbers if not odd(n)] # ahh, the beauty of it all>>> numbers[0, 2, 4, 6, 8]
更多有關(guān)列表解析式的詳細(xì)內(nèi)容，請(qǐng)戳：https://docs.python.org/2/tutorial/datastructures.html#tut-listcomps
常見(jiàn)錯(cuò)誤6：不理解Python閉包中的變量綁定
代碼示例：
>>> def create_multipliers():... return [lambda x : i * x for i in range(5)]>>> for multiplier in create_multipliers():... print multiplier(2)...
你以為運(yùn)行結(jié)果會(huì)是：
02468
但實(shí)際輸出結(jié)果是：8
8888
驚不驚喜！
這種情況是由于Python延遲綁定（late binding）機(jī)制造成的，也就是說(shuō)只有在內(nèi)部函數(shù)被調(diào)用時(shí)才會(huì)搜索閉包中變量的值。所以在上述代碼中，每次調(diào)用create_multipliers()函數(shù)中的return函數(shù)時(shí)，會(huì)在附近作用域中查詢(xún)變量i的值。（此時(shí)，return中循環(huán)已結(jié)束，所以i值為4）。
常見(jiàn)解決方案：
>>> def create_multipliers():... return [lambda x, i=i : i * x for i in range(5)]...>>> for multiplier in create_multipliers():... print multiplier(2)...02468
沒(méi)錯(cuò)！我們利用了匿名函數(shù)lambda的默認(rèn)參數(shù)來(lái)生成結(jié)果序列。有人覺(jué)得這種用法很簡(jiǎn)潔，有人會(huì)說(shuō)它很巧妙，還有人會(huì)覺(jué)得晦澀難懂。如果你是Python開(kāi)發(fā)人員，那么深刻理解上述語(yǔ)法對(duì)你而言非常重要。
常見(jiàn)錯(cuò)誤7：模塊之間出現(xiàn)循環(huán)依賴(lài)
假設(shè)你有兩個(gè)文件，分別是a.py和b.py，兩者相互導(dǎo)入，如下所示：
a.py模塊中的代碼：
import bdef f():return b.xprint f()
b.py模塊中的代碼：
import ax = 1def g():print a.f()
首先，我們嘗試導(dǎo)入a.py：
>>> import a1
運(yùn)行結(jié)果正確！這似乎有點(diǎn)出人意料，因?yàn)槲覀冊(cè)谶@里進(jìn)行循環(huán)導(dǎo)入，應(yīng)該會(huì)報(bào)錯(cuò)呀！
答案是，在Python中如果僅存在一個(gè)循環(huán)導(dǎo)入，程序不會(huì)報(bào)錯(cuò)。如果一個(gè)模塊已經(jīng)被導(dǎo)入，Python會(huì)自動(dòng)識(shí)別而不會(huì)再次導(dǎo)入。但是如果每個(gè)模塊試圖訪問(wèn)其他模塊不同位置的函數(shù)或變量時(shí)，那么Error又雙叒叕出現(xiàn)了。
回到上面的示例中，當(dāng)導(dǎo)入a.py模塊時(shí)，程序可以正常導(dǎo)入b.py模塊，因?yàn)榇藭r(shí)b.py模塊未訪問(wèn)a.py中定義任何的變量或函數(shù)。b.py模塊僅引用了a.py模中的a.f()函數(shù)。調(diào)用的a.f()函數(shù)隸屬于g()函數(shù)，而a.py或b.py模塊中并沒(méi)有調(diào)用g()函數(shù)。所以程序沒(méi)有報(bào)錯(cuò)。
但是，如果我們?cè)谖磳?dǎo)入a.py模塊之前先導(dǎo)入b.py模塊，結(jié)果會(huì)怎樣？
>>> import bTraceback (most recent call last):File "
報(bào)錯(cuò)了！問(wèn)題在于，在導(dǎo)入b.py的過(guò)程中，它試圖導(dǎo)入a.py模塊，而a.py模塊會(huì)調(diào)用f()函數(shù)，f()函數(shù)又試圖訪問(wèn)b.x變量。但此時(shí)，還未對(duì)變量b.x進(jìn)行定義，所以出現(xiàn)了AttributeError異常。
稍微修改下b.py，即在g()函數(shù)內(nèi)部導(dǎo)入a.py就可以解決上述問(wèn)題。
修改后的b.py：
x = 1def g():
import a # This will be evaluated only when g() is calledprint a.f()
現(xiàn)在我們?cè)賹?dǎo)入b.py模塊，就不會(huì)報(bào)錯(cuò)啦！
>>> import b>>> b.g()1 # Printed a first time since module 'a' calls 'print f()' at the end1 # Printed a second time, this one is our call to 'g'
常見(jiàn)錯(cuò)誤8：文件命名與Python標(biāo)準(zhǔn)庫(kù)模塊的名稱(chēng)沖突
Python的優(yōu)勢(shì)之一就是其集成了豐富的標(biāo)準(zhǔn)庫(kù)。正因?yàn)槿绱?，稍不留神就?huì)在為自己的文件命名時(shí)與Python自帶標(biāo)準(zhǔn)庫(kù)模塊重名。例如，如果你的代碼中有一個(gè)名為email.py的模塊，恰好就和Python標(biāo)準(zhǔn)庫(kù)中email.py模塊重名了。）
上述問(wèn)題比較復(fù)雜。舉個(gè)例子，在導(dǎo)入模塊A的時(shí)候，假如該模塊A試圖導(dǎo)入Python標(biāo)準(zhǔn)庫(kù)中的模塊B，但你已經(jīng)定義了一個(gè)同名模塊B，模塊A會(huì)錯(cuò)誤導(dǎo)入你自定義的模塊B，而不是Python標(biāo)準(zhǔn)庫(kù)中的模塊B。這種錯(cuò)誤很糟糕，因?yàn)槌绦騿T很難察覺(jué)到是因?yàn)槊麤_突而導(dǎo)致的。
因此，Python程序員要注意避免與Python標(biāo)準(zhǔn)庫(kù)模塊的命名沖突。畢竟，修改自己模塊的名稱(chēng)比修改標(biāo)準(zhǔn)庫(kù)的名稱(chēng)要容易的多！當(dāng)然你也可以寫(xiě)一份Python改善建議書(shū)（Python Enhancement Proposal，PEP）提議修改標(biāo)準(zhǔn)庫(kù)的名稱(chēng)。
常見(jiàn)錯(cuò)誤9：不熟悉Python2和Python3之間的差異
先來(lái)看看foo.py文件中的代碼：
import sysdef bar(i):if i == 1: raise KeyError(1) if i == 2: raise ValueError(2)def bad(): e = None try: bar(int(sys.argv[1])) except KeyError as e: print('key error') except ValueError as e: print('value error') print(e)bad()
在Python 2中，上述代碼運(yùn)行正常
$ python foo.py 1key error1$ python foo.py 2value error2
但是在Python 3中運(yùn)行時(shí)：
$ python3 foo.py 1key errorTraceback (most recent call last):File "foo.py", line 19, in
什么情況？原來(lái)，在Python 3中，在except代碼塊作用域外無(wú)法訪問(wèn)異常對(duì)象。（原因是，Python 3會(huì)將內(nèi)存堆棧中的循環(huán)引用進(jìn)行保留，直到垃圾回收...
