2017年5月27日，由人工智能頂尖媒體“機(jī)器之心”主辦的2017全球機(jī)器智能峰會(huì)（GMIS2017）在京正式召開。大會(huì)邀請(qǐng)了來自中、美、歐等眾多頂級(jí)專家參會(huì)，以專業(yè)化及全球化的視角為該領(lǐng)域的從業(yè)者及愛好者奉上了一場(chǎng)人工智能盛宴。第四范式聯(lián)合創(chuàng)始人、首席研究科學(xué)家陳雨強(qiáng)受邀出席，并發(fā)表了主題演講、分享了機(jī)器學(xué)習(xí)在工業(yè)界應(yīng)用發(fā)展的新思考。

    第四范式聯(lián)合創(chuàng)始人、首席研究科學(xué)家陳雨強(qiáng)于全球機(jī)器智能峰會(huì)（GMIS2017）發(fā)表演講

陳雨強(qiáng)認(rèn)為，過去五年，人工智能在工業(yè)界的火熱程度正以指數(shù)的方式增長(zhǎng)，而“VC維”便是衡量人工智能應(yīng)用水平的關(guān)鍵。VC維理論是由Vapnik和Chervonenkis于1960年代至1990年代建立的統(tǒng)計(jì)學(xué)習(xí)理論，它反映了函數(shù)集的學(xué)習(xí)能力——VC維越大則模型或函數(shù)越復(fù)雜，學(xué)習(xí)能力就越強(qiáng)。舉個(gè)例子，如果人類的智商水平可以用大腦的腦細(xì)胞數(shù)來衡量，那么機(jī)器的智商水平就可以用VC維來衡量，即超高智商的人工智能，需要超高維度的機(jī)器學(xué)習(xí)模型來實(shí)現(xiàn)。

陳雨強(qiáng)表示，第四范式在提高模型維度方面可謂下足了功夫，高維度模型在實(shí)際應(yīng)用中的效果亦十分出眾。以第四范式與某銀行信用卡中心的合作案例為例，該銀行需要通過數(shù)據(jù)精準(zhǔn)識(shí)別出所有客戶當(dāng)中的信用卡賬單分期客戶。在短短兩個(gè)月內(nèi)，經(jīng)過第四范式和卡中心的共同努力，該信用卡賬單分期模型從此前的兩百多維，提升至“五千萬維”，使賬單分期推薦短信的響應(yīng)率提升了68%，卡中心的賬單分期手續(xù)費(fèi)提升61%。取得如此顯著的效果，陳雨強(qiáng)為與會(huì)者解密了第四范式的機(jī)器學(xué)習(xí)產(chǎn)品前瞻的研發(fā)思路。

第四范式聯(lián)合創(chuàng)始人、首席研究科學(xué)家陳雨強(qiáng)于全球機(jī)器智能峰會(huì)（GMIS2017）發(fā)表演講

打造深度稀疏網(wǎng)絡(luò)（DSN），兼顧“寬”與“深”的算法

眾所周知，機(jī)器學(xué)習(xí)包含數(shù)據(jù)、特征、模型三個(gè)方面。特征分為宏觀（描述的統(tǒng)計(jì)類特征）、微觀（如個(gè)性化ID特征）兩類，模型也分為簡(jiǎn)單、復(fù)雜兩類。在數(shù)據(jù)足夠充足的情況下，沿著模型優(yōu)化和特征優(yōu)化的兩條路徑切入，可以有效地提高機(jī)器學(xué)習(xí)的模型維度。

沿著模型優(yōu)化——即走“深”的路徑是由學(xué)術(shù)界主導(dǎo)，優(yōu)化模型的科學(xué)家們?yōu)榱朔奖銓?shí)驗(yàn)，降低了工程實(shí)現(xiàn)能力的要求，大部分模型可單機(jī)加載。工業(yè)界在按照該思路優(yōu)化時(shí)，往往采用觀察數(shù)據(jù)、找到規(guī)律、根據(jù)規(guī)律做模型假設(shè)、對(duì)模型假設(shè)中的參數(shù)用數(shù)據(jù)擬合、將擬合的結(jié)果上線測(cè)試等步驟。這條路徑需要解決數(shù)據(jù)分布式以及通訊overhead等問題。

沿著特征優(yōu)化——即走“寬”的路徑是由工業(yè)界主導(dǎo)，無論是模型還是算法，均采取分布式的策略，在保證高效分布式的同時(shí)兼顧快速收斂。針對(duì)具體問題，采用較為成熟的線性模型，將觀察到的所有微觀特征進(jìn)行建模。該優(yōu)化路徑的模型簡(jiǎn)單粗暴，且對(duì)工程挑戰(zhàn)極大。

兩種路徑在工業(yè)界都有非常成功的應(yīng)用案例，但雙方的劣勢(shì)同樣明顯。崇尚“寬”路徑的陣營(yíng)認(rèn)為深度模型在某些問題上從來沒有發(fā)揮出數(shù)據(jù)的全部?jī)r(jià)值，離真正的個(gè)性化尚有差距；而寬度模型則在推理能力上略遜一籌。

    Wide&DeepModel與DSN對(duì)比

近年來，寬與深的結(jié)合已經(jīng)逐漸成為一個(gè)研究熱點(diǎn)。2016年6月，Google研究院發(fā)表論文稱，正在研發(fā)Wide&DeepModel，并表示其在搜索、廣告與推薦等領(lǐng)域均十分有效。同年7月，第四范式發(fā)布了新一代的模型算法——深度稀疏網(wǎng)絡(luò)DSN（DeepSparseNetwork）。Wide&DeepModel利用深度窄網(wǎng)絡(luò)刻畫宏觀特征之間的關(guān)系，利用寬度淺層網(wǎng)絡(luò)記憶微觀特征，但無法刻畫微觀特征之間的復(fù)雜關(guān)系，由于Wide&DeepModel將“寬”和“深”分離，導(dǎo)致微觀和宏觀特征之間的關(guān)系也無法刻畫。與Wide&DeepModel不同，第四范式的DSN將“寬”和“深”做了更全面的融合，算法底層是上千億大小的寬度網(wǎng)絡(luò)，上層是一個(gè)全連接的網(wǎng)絡(luò)，這樣既可以記住更多信息，又能刻畫所有特征（包括宏觀特征和微觀特征）之間更復(fù)雜的關(guān)系。在參數(shù)規(guī)模上，Wide&DeepModel支持的參數(shù)規(guī)模為十億級(jí),DSN支持的參數(shù)規(guī)模已達(dá)到十萬億級(jí)，模型“VC維”更高，這意味著隨著數(shù)據(jù)量的增大，模型效果有更大的提升空間。

重塑大規(guī)模分布式機(jī)器學(xué)習(xí)系統(tǒng)架構(gòu)，兼顧開發(fā)和執(zhí)行的效率

在工業(yè)界應(yīng)用中，由于模型維度的增加，對(duì)機(jī)器學(xué)習(xí)的系統(tǒng)架構(gòu)提出了更高的要求。

第一，由于功率墻（PowerWall，即芯片密度不能無限增長(zhǎng)）和延遲墻（LatencyWall，即受光速限制，芯片規(guī)模和時(shí)鐘頻率不能無限增長(zhǎng)）的限制，摩爾定律正在慢慢失效。目前，提升計(jì)算能力的方式主要是依靠并行計(jì)算，從早期的以降低執(zhí)行延遲為主到現(xiàn)在的以提升吞吐量為主。在模型訓(xùn)練的高性能計(jì)算要求下，單機(jī)在I/O、存儲(chǔ)、計(jì)算等方面顯得力不從心。因此，第四范式針對(duì)此問題設(shè)計(jì)了分布式并行化的機(jī)器學(xué)習(xí)模型訓(xùn)練系統(tǒng)。

PowerWall，功耗隨著集成電路密度指數(shù)提升

第二，在機(jī)器學(xué)習(xí)的領(lǐng)域中，一個(gè)著名的定理叫NoFreeLunch（Wolpert和Macready于1997年提出），是指任意算法（包括隨機(jī)算法）在所有問題上的期望性能一樣，不存在通用的算法，因此需要針對(duì)不同的實(shí)際問題，研發(fā)出不同的機(jī)器學(xué)習(xí)算法。這對(duì)于機(jī)器學(xué)習(xí)計(jì)算框架的開發(fā)效率要求極高。

    典型的機(jī)器學(xué)習(xí)建模過程

第三，在面對(duì)實(shí)際問題時(shí)，需要對(duì)數(shù)據(jù)、特征表達(dá)、模型、模型參數(shù)等進(jìn)行多種嘗試，且每一次嘗試，都需要單獨(dú)做模型訓(xùn)練。所以，模型訓(xùn)練是整個(gè)機(jī)器學(xué)習(xí)建模過程中被重復(fù)執(zhí)行最多的模塊，執(zhí)行效率也就成為了重中之重。

    機(jī)器學(xué)習(xí)核心系統(tǒng)對(duì)計(jì)算資源的需求對(duì)比

除此之外，由于對(duì)計(jì)算問題、計(jì)算模式和計(jì)算資源的需求都有所不同，因此在所有問題上，沒有最好的架構(gòu)，只有最適合實(shí)際問題的架構(gòu)。針對(duì)機(jī)器學(xué)習(xí)任務(wù)的特性進(jìn)行框架設(shè)計(jì)才能更有效地解決大規(guī)模機(jī)器學(xué)習(xí)模型訓(xùn)練的計(jì)算問題。第四范式的機(jī)器學(xué)習(xí)系統(tǒng)兼顧了開發(fā)效率和執(zhí)行效率，具備高效、智能、易開發(fā)、易部署、易運(yùn)維、易擴(kuò)展、覆蓋場(chǎng)景廣泛等優(yōu)勢(shì)，且隨著計(jì)算能力的提升，該架構(gòu)使模型的復(fù)雜度與投入的計(jì)算資源呈線性增長(zhǎng)，與以往的架構(gòu)相比，節(jié)省了大量的計(jì)算資源。

在通過技術(shù)層面提高模型維度的同時(shí)，第四范式也在積極降低機(jī)器學(xué)習(xí)的使用門檻，讓更多的技術(shù)、業(yè)務(wù)等非專業(yè)建模人員能夠使用機(jī)器學(xué)習(xí)，建立適合各個(gè)業(yè)務(wù)的高維模型。陳雨強(qiáng)介紹說，2017年初，第四范式內(nèi)部舉行了全球首個(gè)面向非專業(yè)人士的機(jī)器學(xué)習(xí)建模比賽——“一顆賽艇建模大賽”。所有參賽選手均由第四范式內(nèi)部行政、人事、市場(chǎng)、商務(wù)等非機(jī)器學(xué)習(xí)專業(yè)的員工構(gòu)成。比賽結(jié)果按照參賽選手所建模型的AUC（筆者注：AUC是衡量模型準(zhǔn)確度的專業(yè)指標(biāo)，取值在0到1之間）指標(biāo)衡量。以往，專業(yè)數(shù)據(jù)科學(xué)家的建模AUC在0.8以上。通過兩周的簡(jiǎn)單培訓(xùn)，有70%的“業(yè)余”參賽選手的模型AUC達(dá)到了0.8以上的優(yōu)異成績(jī)。值得一提的是，在內(nèi)部建模比賽之后，第四范式創(chuàng)立了“范式大學(xué)”人才培養(yǎng)計(jì)劃，通過培養(yǎng)非專業(yè)人士利用“先知”建模，“批量生產(chǎn)”數(shù)據(jù)科學(xué)家，進(jìn)一步解決AI人才高門檻的問題。

關(guān)于陳雨強(qiáng)

陳雨強(qiáng)，第四范式聯(lián)合創(chuàng)始人、首席研究科學(xué)家，世界級(jí)深度學(xué)習(xí)、遷移學(xué)習(xí)專家。在百度鳳巢期間主持了世界首個(gè)商用深度學(xué)習(xí)系統(tǒng)，大幅度提升廣告點(diǎn)擊率的同時(shí)，提升用戶滿意度和企業(yè)收入，加入今日頭條后主持了中國(guó)用戶量最多的新媒體人工智能推薦系統(tǒng)，完成全新的信息流推薦與廣告系統(tǒng)的設(shè)計(jì)。作為第四范式首席研究科學(xué)家，帶領(lǐng)團(tuán)隊(duì)打造專為機(jī)器學(xué)習(xí)而生的計(jì)算框架，實(shí)現(xiàn)人工智能產(chǎn)品化的關(guān)鍵技術(shù)突破，推出的人工智能產(chǎn)品“第四范式·先知”2016年榮獲中國(guó)智能科技最高獎(jiǎng)－吳文俊人工智能科學(xué)技術(shù)獎(jiǎng)一等獎(jiǎng)。陳雨強(qiáng)曾在NIPS，AAAI，ACL，SIGKDD等頂會(huì)上發(fā)表論文，獲APWeb2010BestPaperAward，KDDCup2011名列前三，其學(xué)術(shù)工作在2010年作被全球著名科技雜志MITTechnologyReview報(bào)道。他和第四范式創(chuàng)始團(tuán)隊(duì)開創(chuàng)的“遷移學(xué)習(xí)”被業(yè)界認(rèn)為是“下一代人工智能技術(shù)”。