打造極致效能的邊緣AI計(jì)算基礎(chǔ)方案，構(gòu)建綠色、安全的智能世界

在近日舉辦的 CES Asia 上，地平線聯(lián)合創(chuàng)始人&副總裁黃暢博士受邀在CES 主論壇發(fā)表主題為《邊緣 AI 計(jì)算發(fā)展趨勢》的演講。在一小時(shí)的演講中，黃暢博士從邊緣計(jì)算推動(dòng)的行業(yè)變化、AI能效與企業(yè)責(zé)任、有效算力的定義、地平線開放賦能的戰(zhàn)略與開發(fā)者平臺分享了其對人工智能時(shí)代邊緣計(jì)算趨勢的洞察并深度解讀地平線的“AI on Horizon, Journey Together”戰(zhàn)略。黃暢表示，地平線愿意做一家平臺化的公司，甘做技術(shù)底座，托起客戶，跟客戶一起走下去，成就客戶價(jià)值。

全球著名的研究公司 Gartner 的技術(shù)成熟度曲線顯示，AI 普惠大眾的時(shí)代已經(jīng)開啟，正在各個(gè)行業(yè)創(chuàng)造新的價(jià)值，在這個(gè)過程中，我們將會(huì)面臨什么樣的挑戰(zhàn)？伴隨著 AI 的商業(yè)化，最重要的挑戰(zhàn)就是數(shù)據(jù)量的指數(shù)級增長，并且呈現(xiàn)出兩個(gè)關(guān)鍵特征：數(shù)據(jù)的實(shí)時(shí)性和安全性。據(jù)國際 IDC 數(shù)據(jù)公司（IDC）白皮書《數(shù)據(jù)時(shí)代 2025》預(yù)測，2025 年，超過 25% 的數(shù)據(jù)將成為實(shí)時(shí)數(shù)據(jù)，其中 95% 生產(chǎn)自 IoT 終端，并且絕大部分不能直接創(chuàng)造價(jià)值，需要經(jīng)過計(jì)算來提煉；而 2025 年全球數(shù)據(jù)總量的 20% 將直接關(guān)乎人們的日常生活乃至生存安危。

2018 Gartner 技術(shù)成熟度曲線上，多項(xiàng) AI 技術(shù)和應(yīng)用都出現(xiàn)在了該曲線上，Gartner 也第一次在報(bào)告中明確提出 AI 民主化即普惠大眾的主張，這也預(yù)示著我們將面臨更嚴(yán)峻的數(shù)據(jù)挑戰(zhàn)。

這對數(shù)據(jù)的計(jì)算帶來嚴(yán)峻挑戰(zhàn)，我們該如何高效處理海量的數(shù)據(jù)并挖掘其價(jià)值，并且對實(shí)時(shí)性數(shù)據(jù)以秒級，甚至毫秒級的處理，同時(shí)，保護(hù)數(shù)據(jù)隱私？隨著 5G 商用開啟，終端接入網(wǎng)的擴(kuò)容極大，實(shí)時(shí)性要求進(jìn)一步提升，但因?yàn)楣歉删W(wǎng)擴(kuò)容成本高、延遲大，導(dǎo)致在邊緣側(cè)形成數(shù)據(jù)堰塞湖，邊緣計(jì)算勢在必行。Intel 曾表示：MEC（多接入邊緣計(jì)算）不一定需要 5G，但 5G 一定需要 MEC。有了邊緣計(jì)算的加持，5G 的商業(yè)價(jià)值才能真正得以發(fā)揮。

破解目前物聯(lián)網(wǎng)數(shù)據(jù)計(jì)算面臨的難題，邊緣計(jì)算具有五大優(yōu)勢：1. 可靠性高，在離線狀態(tài)下也可以正常運(yùn)作；2.安全合規(guī)，滿足隱私要求；3.降低數(shù)據(jù)傳輸和存儲(chǔ)成本；4.高實(shí)時(shí)性，減少反應(yīng)延遲；5.計(jì)算設(shè)備部署靈活，高效協(xié)同。

AI 計(jì)算可以分為云計(jì)算、邊緣計(jì)算、端計(jì)算三個(gè)層次。他們在 AI 算力、實(shí)時(shí)性以及計(jì)算的通用性三個(gè)維度上，各有所長：

云計(jì)算面向的是最通用的計(jì)算，在所有的計(jì)算中，云計(jì)算的時(shí)空范疇是最大的，多樣性最強(qiáng)，所需要的算力最高，但實(shí)時(shí)性較差，并且與場景相關(guān)性弱；云端的數(shù)據(jù)種類也是最豐富的，可以橫跨多個(gè)維度，因而可以做復(fù)雜的認(rèn)知計(jì)算和模型訓(xùn)練。

端上的計(jì)算是另外一個(gè)極端，與場景相關(guān)性最強(qiáng)，計(jì)算專用性非常強(qiáng)，追求極致效率。主要面向推理。

處在中間的邊緣計(jì)算是新物種，它就像我們的脊椎一樣，連接我們的大腦（云）和神經(jīng)末梢（端）。其算力遠(yuǎn)勝于端，同時(shí)對功耗的容忍度比端也強(qiáng)很多；相對于云，其實(shí)時(shí)性更好，且可以結(jié)合具體場景進(jìn)行特定優(yōu)化。而5G技術(shù)的應(yīng)用，可以大幅改善邊緣和端之間的數(shù)據(jù)帶寬和傳輸延遲，使得它能夠兼具云和端的優(yōu)勢，改變現(xiàn)有網(wǎng)絡(luò)互聯(lián)格局。

5G時(shí)代下的物聯(lián)網(wǎng)需要端邊云協(xié)同，在一個(gè)更大的范圍內(nèi)尋找AI解決方案的最優(yōu)解

5G 時(shí)代下的物聯(lián)網(wǎng)模式也將隨之而變，邊緣計(jì)算成為數(shù)據(jù)過濾器與控制閥，通過它的處理，可僅將低至萬分之一的有效數(shù)據(jù)上傳到云端進(jìn)行處理，大幅降低對于骨干網(wǎng)的數(shù)據(jù)傳輸壓力。

在傳統(tǒng)互聯(lián)網(wǎng)時(shí)代，是端和云的二元計(jì)算架構(gòu)，數(shù)據(jù)持續(xù)向云端轉(zhuǎn)移并被處理，端只是流量入口；但是邊緣計(jì)算的加入，帶來了新變量，它在端和云之間，構(gòu)造出一種全新的可能，其對于數(shù)據(jù)的控制力將帶來新的商業(yè)范式轉(zhuǎn)移，從技術(shù)角度講，邊緣計(jì)算具備了改造傳統(tǒng)互聯(lián)網(wǎng)計(jì)算架構(gòu)的潛力，將帶來從軟件到硬件的全新構(gòu)架變革。

AI 普及化帶來新價(jià)值的同時(shí)，也帶來了新的能源危機(jī)。

今天，數(shù)據(jù)中心耗電驚人，據(jù)《中國數(shù)據(jù)中心能耗現(xiàn)狀白皮書》顯示，在中國有 40 萬個(gè)數(shù)據(jù)中心，每個(gè)數(shù)據(jù)中心平均耗電 25 萬度，總體超過 1000 億度，這相當(dāng)于三峽和葛洲壩水電站1年發(fā)電量的總和。如果折算成碳排放的話，大概是 9600 萬噸，這個(gè)數(shù)字接近目前中國民航年碳排放量的3倍。

數(shù)據(jù)中心平均消耗的功率是大型商業(yè)寫字樓的 100 倍以上。而為服務(wù)器供電和冷卻所需的電能占到數(shù)據(jù)中心總運(yùn)營成本的 40%，因此，數(shù)據(jù)中心的能源低效問題不容忽視。

為了降低功耗，阿里的數(shù)據(jù)中心建在張北，張北風(fēng)力強(qiáng)勁，年平均氣溫不到 3 攝氏度，這就好比是一個(gè)天然散熱場，從而減少冷卻系統(tǒng)耗電，預(yù)計(jì)僅數(shù)據(jù)中心的制冷能耗就可以降低 45%。騰訊數(shù)據(jù)中心建在貴州省貴安新區(qū)兩座山的山體上，也是為了散熱。

為了降低功耗，世界上最大的數(shù)據(jù)中心將被建在北極圈內(nèi)，總功率超過1000兆瓦（來源：KOLOS公司官網(wǎng) ?）

可以預(yù)見的是，未來我們需要的數(shù)據(jù)計(jì)算量將以數(shù)量級的方式高速增長，那這樣的耗能方式是難以維持的。

所以，通過極致的AI能效提升減少碳排放，已經(jīng)成為AI企業(yè)新的社會(huì)責(zé)任，即充分利用有限的能源創(chuàng)造更大的價(jià)值。

在傳統(tǒng)芯片行業(yè)，PPA（算力、功耗和面積）是最經(jīng)典的性能衡量指標(biāo)。但在 AI 時(shí)代，我們需要新的范式來定義性能。

當(dāng)前的業(yè)界存在一個(gè)很大的誤區(qū)，往往會(huì)把峰值算力當(dāng)作衡量 AI 芯片的主要指標(biāo)。但我們真正需要的是有效算力，及其輸出的算法性能。這需要從四個(gè)維度來衡量：每瓦的峰值算力和每美元的峰值算力（由芯片架構(gòu)、前后端設(shè)計(jì)和芯片工藝共同決定），峰值算力的有效利用率（由算法和芯片架構(gòu)決定），以及有效算力轉(zhuǎn)化為 AI 性能的比率（主要是速度和精度兩個(gè)方面，由算法決定）。之前業(yè)界普遍采用 Resnet 這樣的模型，但是今天我們采用類似 MobileNet這樣更加精巧設(shè)計(jì)的小模型，可以用 1/10 的算力達(dá)到相同的精度和速度。但是這些精巧設(shè)計(jì)的算法給計(jì)算架構(gòu)帶來了巨大的挑戰(zhàn)，往往使得傳統(tǒng)設(shè)計(jì)的計(jì)算架構(gòu)的有效利用率大幅下降，從最終的AI性能角度來說，甚至得不償失。

地平線的最大特點(diǎn)，是對重要應(yīng)用場景中，關(guān)鍵算法的發(fā)展趨勢進(jìn)行預(yù)判，前瞻性地將其計(jì)算特點(diǎn)融入到計(jì)算架構(gòu)的設(shè)計(jì)當(dāng)中，使得 AI 處理器經(jīng)過一兩年的研發(fā)，在推出的時(shí)候，仍然能夠很好地適應(yīng)最新的主流算法。因此，和其他典型的 AI 處理器相比，地平線的 AI 處理器，隨著算法的演進(jìn)趨勢，始終能夠保持相當(dāng)高的有效利用率，從而真正意義上受益于算法創(chuàng)新帶來的優(yōu)勢。

地平線AI芯片核心能力：算法+芯片聯(lián)合優(yōu)化且兼顧靈活，高效架構(gòu)服務(wù)經(jīng)典和未來算法設(shè)計(jì)

掌握了算法和計(jì)算架構(gòu)，我們還只是具備了巨大的潛能。而編譯器，則能夠?qū)⑦@兩者聯(lián)合起來進(jìn)行極致優(yōu)化，釋放出所有的潛能。舉一個(gè)實(shí)際的例子，在沒有優(yōu)化的情況下，峰值算力的有效利用率是 34%；但經(jīng)過編譯器對指令序列進(jìn)行優(yōu)化之后，這個(gè)數(shù)值被提升到了 85%。這使得芯片的處理速度，提升了 2.5 倍，或者說，處理相同多的任務(wù)，功耗降低到 40%。

用未來重要應(yīng)用場景中的關(guān)鍵算法發(fā)展趨勢，來指導(dǎo)地平線 AI 芯片的架構(gòu)設(shè)計(jì)，首重效率，兼顧靈活，這是地平線一直以來的設(shè)計(jì)理念——極致的AI能效是地平線在產(chǎn)品上始終如一的理想和追求。

創(chuàng)業(yè)幾年來，我們深深感受到，AI 從技術(shù)演示到商業(yè)落地的路徑非常長，將 AI 解決方案集成到客戶的產(chǎn)品中，賦能并成就客戶，對大部分公司來說，存在不低的門檻。所以我們每天都在努力，如何去降低我們的方案被集成的難度。為此，地平線設(shè)計(jì)出一整套包含數(shù)據(jù)、訓(xùn)練、部署在內(nèi)的算法開發(fā)流程，并開發(fā)出一套全棧式的 AI 平臺工具用來高效地支撐這套開發(fā)流程。我們甚至提供大量優(yōu)秀的算法模型和原型系統(tǒng)，作為參考樣例提供給我們的客戶。通過這些工具和樣例，客戶可以照貓畫虎，快速地進(jìn)行產(chǎn)品所需的算法開發(fā)，并持續(xù)迭代，由淺入深地進(jìn)行全方位地調(diào)優(yōu)，探索客戶自己在數(shù)據(jù)和算法方面的獨(dú)特價(jià)值。

可支持廣泛的開源框架的地平線開發(fā)工具

地平線的全棧 AI 平臺工具鏈，包括數(shù)據(jù)、訓(xùn)練和設(shè)備部署工具。它們形成了一個(gè)閉環(huán)，高效地運(yùn)作起來，數(shù)據(jù)產(chǎn)生模型，模型可以被部署到設(shè)備上運(yùn)行，運(yùn)行過程中又可以指導(dǎo)模型的調(diào)優(yōu)，甚至收集新的數(shù)據(jù)。這樣的一種開發(fā)模式，可以提升開發(fā)速度，降低開發(fā)門檻，保證開發(fā)質(zhì)量。我們當(dāng)前的評估結(jié)果現(xiàn)實(shí)，它可以減少約 30% 的開發(fā)人力，節(jié)省 50% 的開發(fā)時(shí)間，更重要的是，因?yàn)殚_發(fā)門檻被降低了，開發(fā)者的規(guī)模甚至可以擴(kuò)大一個(gè)數(shù)量級。

地平線 AI 開發(fā)平臺：提速Software2.0 全流程研發(fā)

地平線會(huì)持續(xù)對開發(fā)工具進(jìn)行升級，為客戶提供半自動(dòng)化的處理流程，這里包括：數(shù)據(jù)工具與模型，模型與端上設(shè)備之間的閉環(huán)迭代；豐富的模型/系統(tǒng)參考原型，簡潔易用直觀方便的交互手段；標(biāo)準(zhǔn)化開發(fā)流程，加上持續(xù)的測試，集成，部署機(jī)制。

以開放賦能客戶為本，快速滿足不同客戶需求是地平線AI平臺服務(wù)客戶的宗旨，我們要節(jié)省更多的開發(fā)時(shí)間，節(jié)約更多的開發(fā)人員，也讓越來越多的企業(yè)參與到人工智能開發(fā)的環(huán)境中來，打造良好的生態(tài)基礎(chǔ)平臺。

在目前這樣一個(gè)能源消耗巨大的 AI 時(shí)代，地平線以其自身特有的優(yōu)勢及服務(wù)理念，為客戶提供高性價(jià)比和易被繼承的產(chǎn)品，友好的開發(fā)工具及參考樣例、先進(jìn)的計(jì)算架構(gòu)、前沿的算法支持和優(yōu)質(zhì)的服務(wù)。

我們已經(jīng)幫助合作伙伴開發(fā)了很多成功的產(chǎn)品，比如工地安全帽檢測，小愛音箱，為理想One提供多音區(qū)語音交互解決方案，眾包方式的高精語義地圖建圖產(chǎn)品等。我們還加入了 96Boards 開源社區(qū)，擁抱更為廣泛的開發(fā)生態(tài)。

我們愿意做一家平臺化的公司，做技術(shù)底座，賦能客戶 AI on Horizon。我們從來不認(rèn)為創(chuàng)業(yè)是一個(gè)party, 而是一個(gè)和客戶攜手journey together的旅程。跟客戶一起走下去，成就客戶價(jià)值，踐行我們的使命，賦能萬物，讓每個(gè)人的生活更安全，更美好，謝謝大家！