騰訊首個(gè)AI開源項(xiàng)目已長成 從頂級(jí)開源基金會(huì)畢業(yè)

最新消息，騰訊開源項(xiàng)目Angel從LF AI基金會(huì)畢業(yè)，也是中國首個(gè)從LF AI基金會(huì)畢業(yè)的開源項(xiàng)目。

騰訊云副總裁、騰訊數(shù)據(jù)平臺(tái)部總經(jīng)理蔣杰表示：“畢業(yè)是Angel新的開始，未來我們將進(jìn)一步開放Angel在圖計(jì)算和聯(lián)邦學(xué)習(xí)領(lǐng)域的核心能力?！?/p>

騰訊首個(gè)AI開源項(xiàng)目已長成

Angel是騰訊的首個(gè)AI開源項(xiàng)目，于 2016 年底推出、2017年開源。作為面向機(jī)器學(xué)習(xí)的第三代高性能計(jì)算平臺(tái)，Angel致力于解決稀疏數(shù)據(jù)大模型訓(xùn)練以及大規(guī)模圖數(shù)據(jù)分析問題。騰訊在2018年成為LF AI基金會(huì)的創(chuàng)始白金會(huì)員之一，并于同年向基金會(huì)貢獻(xiàn)了開源項(xiàng)目Angel。

據(jù)LF AI 基金會(huì)董事、騰訊AI專家肖涵介紹，LF AI基金會(huì)對(duì)開源項(xiàng)目的畢業(yè)流程有非常嚴(yán)格的規(guī)定，基于項(xiàng)目的技術(shù)含量、開源生態(tài)、社區(qū)互動(dòng)等維度，嚴(yán)格評(píng)估項(xiàng)目的成熟度，最終由董事會(huì)投票決定能否準(zhǔn)予畢業(yè)。能夠從LF AI畢業(yè)，意味著項(xiàng)目已經(jīng)得到全球技術(shù)專家的認(rèn)可，成為最頂級(jí)的AI開源項(xiàng)目。

Angel在基金會(huì)的孵化過程中獲得了快速發(fā)展，并完成了從2.0版本到3.0版本的跨越，從一個(gè)單純的模型訓(xùn)練系統(tǒng)進(jìn)化成包含從自動(dòng)特征工程到模型服務(wù)的全棧機(jī)器學(xué)習(xí)平臺(tái)。

Angel的特征工程模塊基于Spark開發(fā)，增強(qiáng)了Spark的特征選擇功能，同時(shí)使用特征交叉和重索引實(shí)現(xiàn)了自動(dòng)特征生成。這些組件可以無縫地整合進(jìn)Spark的流水線。為了讓整個(gè)系統(tǒng)更加的智能，Angel 3.0新增了超參數(shù)調(diào)節(jié)的功能。

在模型服務(wù)方面，Angel 3.0提供了一個(gè)跨平臺(tái)的組件Angel Serving，不僅可以滿足Angel自身的需求，還可以為其他平臺(tái)提供模型服務(wù)。在生態(tài)方面，Angel也嘗試將參數(shù)服務(wù)器（PS）能力共享給其他的計(jì)算平臺(tái)，目前已經(jīng)完成了Spark On Angel和PyTorch On Angel兩個(gè)平臺(tái)的建設(shè)。

在3.0版本中，Angel重點(diǎn)研發(fā)了圖機(jī)器學(xué)習(xí)功能，包括圖表示和圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模型，同時(shí)提供預(yù)處理、圖挖掘等端到端數(shù)據(jù)處理能力，具有豐富的算法庫，提供了同構(gòu)圖、異構(gòu)圖多種圖計(jì)算范式和不同種類的圖算法。經(jīng)過騰訊內(nèi)部業(yè)務(wù)的大規(guī)模實(shí)踐，Angel在圖算法性能上同樣表現(xiàn)出眾，例如十億節(jié)點(diǎn)、千億邊規(guī)模的圖結(jié)構(gòu)，運(yùn)行算法時(shí)能以Spark GraphX三分之一的計(jì)算資源，達(dá)到十倍處理性能。

除了技術(shù)功能上的完善，Angel在社區(qū)生態(tài)上也日趨成熟。據(jù)了解，在全行業(yè)Angel擁有超過 100家公司和機(jī)構(gòu)用戶，其中包括微博、華為、微眾銀行、小米、滴滴等大型互聯(lián)網(wǎng)企業(yè)?；贏ngel構(gòu)建的一站式機(jī)器學(xué)習(xí)應(yīng)用平臺(tái)智能鈦TI，支持了包括微信支付、騰訊廣告、微視等在內(nèi)的諸多騰訊內(nèi)部產(chǎn)品，同時(shí)也通過騰訊云對(duì)外開放為更多行業(yè)企業(yè)提供服務(wù)。

截止目前，Angel在GitHub上已經(jīng)獲得了5500 Star，1400 Fork，在技術(shù)、應(yīng)用、生態(tài)等方面的優(yōu)秀表現(xiàn)均得到了開源社區(qū)的認(rèn)可。此前在騰訊2019 Techo開發(fā)者大會(huì)上，蔣杰還宣布了資源管理平臺(tái)核心TKE和分布式數(shù)據(jù)庫TBase的正式開源。騰訊正在成為大數(shù)據(jù)領(lǐng)域開源最全面的公司。

2019，騰訊的開源大年

開源協(xié)同是當(dāng)前騰訊最重要的技術(shù)戰(zhàn)略之一。在今年的重慶智博會(huì)上，騰訊公司董事會(huì)主席兼首席執(zhí)行官馬化騰專門提及了對(duì)開源的重視，他表示，騰訊希望在科研領(lǐng)域投入更多力量，將通過內(nèi)外部開源等方式，積極參與“全球科技共同體”的共建。

截止2019年11月，僅在Github上，騰訊就開源了91個(gè)項(xiàng)目，有超過1000個(gè)貢獻(xiàn)者參與，獲得超過26萬個(gè)Star數(shù)，在Github全球公司貢獻(xiàn)榜上居于前列。騰訊還加入了Linux、Apache等9大開源基金會(huì)，并成為最高級(jí)別會(huì)員。其中LF AI基金會(huì)是由Linux基金會(huì)發(fā)起的人工智能領(lǐng)域的專項(xiàng)開源基金會(huì)，旨在倡導(dǎo)和組織AI開源平臺(tái)和工具共同參與建設(shè)，共同享有IP知識(shí)產(chǎn)權(quán)，創(chuàng)建可持續(xù)發(fā)展的開源AI生態(tài)系統(tǒng)。

2018年，騰訊因在AI開源領(lǐng)域的卓越技術(shù)影響力，受邀作為LF AI基金會(huì)的初始白金會(huì)員加入，擁有董事會(huì)和技術(shù)咨詢委員會(huì)席位，并于同年向基金會(huì)捐贈(zèng)高性能分布式機(jī)器學(xué)習(xí)平臺(tái)Angel。