7 月 28 日，由阿里巴巴集團發(fā)起，阿里巴巴 AIS 舉辦的 Alibaba Infra. Day 2018 （阿里巴巴 Infrastructure 技術(shù)開放日）在美國山景城計算機歷史博物館順利舉行。

圖片為 Computer History Museum @Montain View, CA

圖片來自：http://computerhistory.org

活動吸引到了來自 Google、Facebook、Twitter 等互聯(lián)網(wǎng)公司超過 500 位工程師參與分享和討論。阿里巴巴十幾年來在集群管理、Linux 內(nèi)核、數(shù)據(jù)庫、數(shù)據(jù)倉庫、存儲、異構(gòu)計算等多個基礎(chǔ)設(shè)施領(lǐng)域的實戰(zhàn)經(jīng)驗和最新產(chǎn)品細(xì)節(jié)，現(xiàn)分享如下。

Alibaba Infra. Day 2018 的主題是 the Golden Era，為大家揭示互聯(lián)網(wǎng)基礎(chǔ)設(shè)施領(lǐng)域發(fā)展正式進入淘金時代。隨著全球互聯(lián)網(wǎng)用戶數(shù)量激增，數(shù)據(jù)成為現(xiàn)代社會愈發(fā)寶貴的資產(chǎn)，巨大的數(shù)據(jù)將在未來產(chǎn)生不可估量的價值?；A(chǔ)設(shè)施是互聯(lián)網(wǎng)發(fā)展的基石，歷次關(guān)鍵節(jié)點都伴隨著基礎(chǔ)設(shè)施的升級，從硬件到軟件。

Alibaba Infra. Day 2018 是 Alibaba Infra. Group 在硅谷的第二屆技術(shù)開放日活動，邀請了來自阿里巴巴 AIS 團隊的 11 位技術(shù)大拿參與。Alibaba Infrastructure （AIS）負(fù)責(zé)阿里巴巴經(jīng)濟體軟硬件基礎(chǔ)設(shè)施，團隊覆蓋數(shù)據(jù)中心、網(wǎng)絡(luò)、服務(wù)器、運維中心、內(nèi)核、容器、JVM、調(diào)度、數(shù)據(jù)庫、存儲、中間件等多個領(lǐng)域，在美國桑尼維爾、西雅圖、圣馬特奧、中國杭州、北京、上海等多個國家和地區(qū)設(shè)有團隊。

阿里巴巴基礎(chǔ)設(shè)施事業(yè)群副總裁周明在大會上分享了阿里巴巴的商業(yè)生態(tài)大圖，為更好地理解基礎(chǔ)設(shè)施技術(shù)所支持的業(yè)務(wù)范圍做了鋪墊。

1999 年成立的阿里巴巴集團在全球超過 150 個國家和地區(qū)有超過 57000 名阿里同學(xué)，以“讓天下沒有難做的生意”為核心建立了多緯度的電子商務(wù)線上交易平臺，業(yè)務(wù)包括 B2B 貿(mào)易、網(wǎng)上零售、購物搜索引擎、第三方支付、物流服務(wù)和云計算服務(wù)。

周明講到：“阿里巴巴經(jīng)濟體中豐富的場景為技術(shù)同學(xué)們?nèi)绾巫龊脴I(yè)務(wù)快速發(fā)展和落地帶來挑戰(zhàn)，業(yè)務(wù)產(chǎn)生的海量數(shù)據(jù)進一步激發(fā)了底層基礎(chǔ)設(shè)施發(fā)展的需求。同時為了促進全球技術(shù)合作，引領(lǐng)創(chuàng)新科技的發(fā)展，阿里巴巴集團成立了達摩院，我們對技術(shù)的重視程度已經(jīng)從把握現(xiàn)在望向了未來。”

阿里巴巴高級研究員李飛飛（花名飛刀）在主會場發(fā)表了主題演講，為大家分享了阿里巴巴技術(shù)架構(gòu)全景。

李飛飛說道：“2017 年的雙十一，當(dāng)天錄得創(chuàng)紀(jì)錄的交易峰值：每秒 32.5 萬次，同時創(chuàng)下新的支付紀(jì)錄：雙 11 開場僅 5 分鐘 22 秒，支付寶達到每秒 25.6 萬筆的支付峰值，為去年的 2.1 倍；數(shù)據(jù)庫處理峰值達到創(chuàng)紀(jì)錄的每秒 437 萬次。這些數(shù)據(jù)的背后，是整個阿里巴巴技術(shù)同學(xué)們的努力，而一個清晰的技術(shù)架構(gòu)為龐大經(jīng)濟體的運營提供了更穩(wěn)定的支撐，是基石。"

阿里巴巴技術(shù)中臺技術(shù)架構(gòu)事業(yè)群提供了從網(wǎng)絡(luò)到 IDC 到異構(gòu)硬件到系統(tǒng)軟件和中間件再到數(shù)據(jù)庫系統(tǒng)的一整套技術(shù)解決方案，實現(xiàn)了在阿里巴巴復(fù)雜商業(yè)應(yīng)用場景下面對大數(shù)據(jù)、高并發(fā)提供高效、安全、可靠、低成本的基礎(chǔ)設(shè)施。基礎(chǔ)機構(gòu)事業(yè)群堅持自主可控的發(fā)展目標(biāo)， 大規(guī)模應(yīng)用和研發(fā)新技術(shù)，推動系統(tǒng)基礎(chǔ)軟硬件設(shè)施從研發(fā)到部署到管理的整個流程的信息化、自動化、和智能化。

以下是 Alibaba Infra. Day 2018 的分享簡介。

李響，阿里巴巴系統(tǒng)軟件事業(yè)部資深技術(shù)專家

Large-scale Cluster Management

為了給數(shù)以億計用戶快速、穩(wěn)定的服務(wù)，阿里巴巴在全球建立了數(shù)個大規(guī)模數(shù)據(jù)中心。這些數(shù)據(jù)中心為內(nèi)部、外部提供著巨大的計算資源。阿里巴巴的集群管理器自動化這些資源的分配，并且推動了諸如彈性擴容、自動化運維、資源規(guī)劃等技術(shù)的發(fā)展。這個系統(tǒng)使得開發(fā)者能夠快捷、穩(wěn)定地獲取計算資源，并且充分保證分配的資源被有效利用。盡管我們已經(jīng)做到了提高開發(fā)效率和降低成本，但是仍舊有很多開放性的問題需要去探索。

這個話題將會介紹阿里巴巴集群管理系統(tǒng)的概況，以及這幾年所解決的有挑戰(zhàn)性問題。這些挑戰(zhàn)包括業(yè)務(wù)混合部署、高峰流量處理等。我們會解釋這些技術(shù)的背后驅(qū)動：阿里巴巴獨特的商業(yè)和技術(shù)需求。最后，我們會探討由諸如Serverless、人工智能、IoT 等阿里巴巴的飛速發(fā)展的計算領(lǐng)域帶來的更多難題。雖然還不知道對這些問題的最好解法，但是我們在一如既往地努力解決問題。

劉博，阿里巴巴系統(tǒng)軟件事業(yè)部高級技術(shù)專家

Linux Kernel Development

現(xiàn)如今 Linux 已經(jīng)統(tǒng)治了服務(wù)器領(lǐng)域，Alibaba 所有的服務(wù)都建立在 Linux 之上。Linux kernel 作為 Linux 生態(tài)中最重要的一環(huán)，需要被管理起來從而為 Alibaba 基礎(chǔ)架構(gòu)提供具有 RAS 的操作系統(tǒng)。本次分享介紹了 Alibaba kernel team 如何在 Alibaba 生態(tài)中融入 Linux kernel，和如何在 kernel 的前瞻領(lǐng)域中持續(xù)創(chuàng)新來降低成本。

李飛飛（花名飛刀），阿里巴巴數(shù)據(jù)庫事業(yè)部高級研究員

Running the Gamut: Challenges from Alibaba's Ecosystem for Database Systems

數(shù)據(jù)庫事業(yè)部承載著阿里巴巴生態(tài)系統(tǒng)所有的在線數(shù)據(jù)處理分析以及數(shù)據(jù)庫服務(wù)，是業(yè)務(wù)蓬勃發(fā)展的技術(shù)基石，為淘寶、天貓、飛豬、聚劃算、新零售、1688、B2B、AE、淘寶海外、阿里云等業(yè)務(wù)群提供穩(wěn)定、高效、安全、低成本的數(shù)據(jù)庫產(chǎn)品和服務(wù)。

這里有世界一流的數(shù)據(jù)庫應(yīng)用場景，直面天貓雙十一洪峰流量。這里有數(shù)據(jù)庫領(lǐng)域最前沿的技術(shù)和探索，例如異地多活、強一致分布式數(shù)據(jù)庫、新硬件、自治數(shù)據(jù)庫、結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)融合處理。這里有一流的數(shù)據(jù)庫團隊，集合了一批優(yōu)秀的數(shù)據(jù)庫內(nèi)核開發(fā)和數(shù)據(jù)庫管理人才。這里有一流的產(chǎn)品，為開源社區(qū)提供了大量的貢獻，推動開源數(shù)據(jù)庫的普及。同時，以阿里場景為依托，我們?yōu)榘⒗镌瓶蛻籼峁┴S富的數(shù)據(jù)庫產(chǎn)品和服務(wù)，全面覆蓋電商、物流、安防、交通、健康、出行、氣象等廣大行業(yè)并提供核心服務(wù)。我們在數(shù)據(jù)庫事務(wù)處理引擎、在線分析引擎、分布式數(shù)據(jù)庫、FPGA/GPU 硬件加速、智能數(shù)據(jù)庫、多模多態(tài)數(shù)據(jù)庫、數(shù)據(jù)庫安全、大規(guī)模數(shù)據(jù)處理與分析方向均處于業(yè)界領(lǐng)先位置。

Demai Ni（花名德邁），阿里巴巴數(shù)據(jù)庫事業(yè)部資深技術(shù)專家

X-DB：the Next Generation Globally-Distributed Database System

X-DB 是支持阿里巴巴業(yè)務(wù)的事務(wù)數(shù)據(jù)庫，擁有十萬+實例，涵蓋淘寶、天貓、AliExpress 等核心業(yè)務(wù)，以及最新融入的 Lazada，高德、餓了么、優(yōu)酷/土豆網(wǎng)等互聯(lián)網(wǎng)+業(yè)務(wù)。作為世界體量最大的 OLTP 系統(tǒng)之一，X-DB 通過分層存儲提供高吞吐量，計算和存儲分離賦予高彈性能力，并且通過 Paxos Protocol 保證高可用，以及基于盤古文件系統(tǒng)的數(shù)據(jù)高可靠。同時，X-DB 利用最新的硬件技術(shù)（如 NVM, SSD, FPGA）達到高效儲存和計算穩(wěn)定。初期 X-DB 在阿里巴巴業(yè)務(wù)的驅(qū)動下和挑戰(zhàn)中完成多項關(guān)鍵技術(shù)：水平擴展，跨物理域高可用，百倍的彈性；現(xiàn)在 X-DB 的技術(shù)革新在為阿里巴巴創(chuàng)造新業(yè)務(wù)。X-DB 基于人工智能的技術(shù)和全球部署能力，即為阿里基礎(chǔ)設(shè)施服務(wù)，也將在云上為萬億用戶服務(wù)。X-DB runs everywhere all the time!

李瑞萍，阿里巴巴數(shù)據(jù)庫事業(yè)部資深技術(shù)專家

AnalyticDB: Challenges and Opportunities of Real-Time Data Warehousing

AnalyticDB 是阿里云上的 PB 級實時數(shù)據(jù)倉庫，支撐著阿里集團內(nèi)的電商、廣告、螞蟻、菜鳥、文娛等眾多在線數(shù)據(jù)分析業(yè)務(wù)，以及傳統(tǒng)的大中型企業(yè)，政府機構(gòu)，眾多的互聯(lián)網(wǎng)創(chuàng)新公司的核心分析能力。AnalyticDB 采用分層 (接入層，計算層，存儲層 ... ) 解耦架構(gòu)，支持各層獨立擴展，將分析計算、數(shù)據(jù)寫入、索引構(gòu)建等分離為不同節(jié)點。各種類型節(jié)點采用多活運行模式，在整體架構(gòu)上實現(xiàn)了彈性擴展和高可用。AnalyticDB 引進了智能 SQL 優(yōu)化器，MPP+DAG 的融合分析引擎，支持行列混合存儲，智能構(gòu)建多維度索引以及 GPU 硬件加速等技術(shù)，同時融入了文本、圖片、人臉等非結(jié)構(gòu)化數(shù)據(jù)分析支持，大幅擴展技術(shù)邊界和業(yè)務(wù)邊界。AnalyticDB 能夠支持 1000 以上的計算節(jié)點， 10PB 以上的數(shù)據(jù)， 毫秒級響應(yīng)，100K QPS、每秒千萬級記錄寫入。

伴隨著這些年在線分析業(yè)務(wù)的發(fā)展，AnalyticDB 在時效性、在線化、復(fù)雜度、可用性和成本上不斷創(chuàng)新發(fā)展，做了大量的難點突破和技術(shù)創(chuàng)新。通過將數(shù)據(jù)分析在線化、實時化，幫助用戶在經(jīng)營分析、運營優(yōu)化，城市大腦等場景中充分發(fā)揮數(shù)據(jù)價值，AnalyticDB 已經(jīng)成長為極具行業(yè)競爭力的產(chǎn)品。

趙曉雪，阿里巴巴基礎(chǔ)設(shè)施事業(yè)群研究員

Intelligent Infrastructure Operation

阿里巴巴的基礎(chǔ)設(shè)施正在經(jīng)歷著翻天覆地的大規(guī)?；目焖僮兏?。我們的目標(biāo)是在這樣大規(guī)模化的發(fā)展中通過自動化、數(shù)字化和智能化的技術(shù)始終保持基礎(chǔ)設(shè)施運維的高效、穩(wěn)定和低成本。在這次的活動中，我們分享了三個主要的自動化運維平臺，第一個是運營支撐與決策平臺，致力于打造從需求到供應(yīng)鏈再到安裝交付的整條自動化鏈路；第二個是數(shù)據(jù)中心運維平臺，緊密結(jié)合資產(chǎn)、器件、儀器等多項實時監(jiān)控，數(shù)據(jù)中心現(xiàn)場安防和作業(yè)流程自動化；第三個是天基系統(tǒng)，保證了近百萬臺服務(wù)器的基礎(chǔ)軟件，固件快速安全自動大規(guī)模部署和升級。

在每一個平臺系統(tǒng)中，我們都加入了智能運維的功能。例如，根據(jù)產(chǎn)品特性，周期和歷史數(shù)據(jù)等信息，采用數(shù)據(jù)挖掘、機器學(xué)習(xí)、統(tǒng)計分析、數(shù)學(xué)模型等多種方法，阿里云計算產(chǎn)品對于基礎(chǔ)設(shè)施的需求預(yù)測準(zhǔn)確率可達80%以上。再例如，通過神經(jīng)網(wǎng)絡(luò)和優(yōu)化模型，我們的自建數(shù)據(jù)中心的能耗效率提高了 20% 以上。我們期待能夠在不久的將來，通過技術(shù)創(chuàng)造高效，智能的無人值守數(shù)據(jù)中心。

張銘，阿里巴巴網(wǎng)絡(luò)研發(fā)事業(yè)部研究員

自動駕駛網(wǎng)絡(luò)

阿里巴巴擁有著包括電商、云計算、互聯(lián)網(wǎng)金融等一系列高速發(fā)展，且內(nèi)容極其豐富的互聯(lián)網(wǎng)業(yè)務(wù)。為了向全球的幾十億用戶提供優(yōu)質(zhì)、可靠的服務(wù)，阿里在世界各地建造數(shù)據(jù)中心和 PoP 點，并通過遍布全球的網(wǎng)絡(luò)將用戶和這些數(shù)據(jù)中心連接起來。在這次活動中，我們分享了如何通過構(gòu)建自動駕駛網(wǎng)絡(luò)來保障阿里網(wǎng)絡(luò)在高速發(fā)展下的穩(wěn)定性。與傳統(tǒng)的網(wǎng)絡(luò)運維方式所不同，自動駕駛網(wǎng)絡(luò)具備靈敏的感知能力，高度的自動化能力，以及全局的優(yōu)化決策能力。不僅如此，自動駕駛網(wǎng)絡(luò)還具備精準(zhǔn)的預(yù)測能力和強大的學(xué)習(xí)能力。在過去幾年中，我們從無到有的打造了阿里的自動駕駛網(wǎng)絡(luò)，實現(xiàn)了從人工運維到智能化運維的跨越。

李舒，阿里巴巴服務(wù)器研發(fā)事業(yè)部資深專家

阿里巴巴存儲基礎(chǔ)設(shè)施的軟硬件一體化設(shè)計

服務(wù)器存儲團隊全力打造軟硬件一體的阿里巴巴底層統(tǒng)一存儲平臺以向上支撐盤古分布式文件系統(tǒng)和集團業(yè)務(wù)。在過去3 - 4年的不斷努力中，已實現(xiàn)硬件白盒化，并建立全球領(lǐng)先的 Alibaba Open Channel SSD 系統(tǒng)，發(fā)布了Alibaba Open Channel 標(biāo)準(zhǔn)，并成功吸納 Intel、三星、美光、紫光、海力士、西數(shù)、寶存、CnexLab、東芝等國際廠商加入Alibaba Open Channel 聯(lián)合研發(fā)、驗證、產(chǎn)品化，現(xiàn)已實現(xiàn)在阿里巴巴基礎(chǔ)設(shè)施的部署。本地存儲引擎 FusionEngine 向上支撐盤古分布式系統(tǒng)，向下銜接Alibaba Open Channel SSD，實現(xiàn)了從存儲介質(zhì)顆粒到上層業(yè)務(wù)應(yīng)用的全棧白盒化與一體優(yōu)化迭代，打造了高性能、高穩(wěn)定、低成本的阿里巴巴底層統(tǒng)一存儲平臺，以之全力支撐阿里業(yè)務(wù)，并與各業(yè)務(wù)一起開拓新商業(yè)，以全棧優(yōu)化的深入技術(shù)能力，創(chuàng)新并迭代具有國際競爭力和影響力的業(yè)務(wù)產(chǎn)品。

YU, Minggang，阿里巴巴數(shù)據(jù)庫事業(yè)部資深技術(shù)專家

Heterogeneous Computing: Unified Data Analytics

隨著數(shù)據(jù)分析特別是 ML 智能分析越來越龐雜，目前零散分離的工具鏈如 SciPy stack 早已無法滿足數(shù)據(jù)科學(xué)家或領(lǐng)域?qū)＜以谌萘?、場景多樣性和效率持續(xù)增長的要求。分析平臺需要能夠統(tǒng)一分析異構(gòu)數(shù)據(jù)深入挖掘關(guān)聯(lián)數(shù)據(jù)價值，并充分發(fā)揮各種異構(gòu)硬件（如 GPU/FPGA/ASIC/Optane/RDMA）的計算和傳輸效能。本次分享介紹了阿里巴巴 PB 級高并發(fā)實時數(shù)據(jù)分析平臺 ADS 及其技術(shù)規(guī)劃，目標(biāo)是利用多種新硬件加速多模態(tài)數(shù)據(jù)統(tǒng)一分析（包括 OLAP、統(tǒng)計和機器學(xué)習(xí)）和大規(guī)模數(shù)據(jù)呈現(xiàn)（Backend Rendering）。

張偉豐，阿里巴巴服務(wù)器研發(fā)事業(yè)部研究員

Advance Heterogeneous Computing for Performant AI Applications

隨著摩爾定律的枯竭，傳統(tǒng)單一的計算機結(jié)構(gòu)已經(jīng)不能滿足人工智能/機器學(xué)習(xí)應(yīng)用所需求的強大計算力。相比之下，異構(gòu)計算架構(gòu)針對機器學(xué)習(xí)應(yīng)用的各種各樣特性能夠充分發(fā)揮不同架構(gòu)的計算力，因而成為挖掘未來計算潛力的關(guān)鍵技術(shù)。在這次分享中，我們介紹了計算架構(gòu)發(fā)展趨勢和機會，并探討如何促進 FPGA，ASIC（如人工智能芯片）和非馮諾伊曼架構(gòu)的發(fā)展和演進，從而實現(xiàn)人工智能/機器學(xué)習(xí)應(yīng)用的最大性能。

最后為大家介紹大會中出席分享的各位 Tech Leader。

基礎(chǔ)設(shè)施建設(shè)的未來是什么樣的，期待與你一起去定義。