天數(shù)智芯李云鵬：數(shù)據(jù)驅(qū)動的春天即將來臨 | CCF-GAIR 2019

編者按：7 月 12 日-7 月 14 日，2019 第四屆全球人工智能與機(jī)器人峰會（CCF-GAIR 2019）于深圳正式召開。峰會由中國計(jì)算機(jī)學(xué)會（CCF）主辦，記者、香港中文大學(xué)（深圳）承辦，深圳市人工智能與機(jī)器人研究院協(xié)辦，得到了深圳市政府的大力指導(dǎo)，是國內(nèi)人工智能和機(jī)器人學(xué)術(shù)界、工業(yè)界及投資界三大領(lǐng)域的頂級交流博覽盛會，旨在打造國內(nèi)人工智能領(lǐng)域極具實(shí)力的跨界交流合作平臺。

7 月 13 日的 AI 芯片專場，南京天數(shù)智芯科技有限公司（以下簡稱天數(shù)智芯）創(chuàng)始人、董事長兼 CEO 李云鵬帶來了主題為《海量數(shù)據(jù)時代的全算力》的演講。

天數(shù)智芯創(chuàng)始人、董事長兼 CEO 李云鵬

李云鵬首先提到，澤字節(jié)時代（ Zettabyte Era）數(shù)據(jù)體量十分龐大，數(shù)據(jù)的收集、組織、分析和運(yùn)用都將對社會和科技的發(fā)展帶來不可忽視的影響，這一切都對算力有了更高的要求。但隨著數(shù)據(jù)量的不斷增長、算法不斷演進(jìn)和迭代，對極致算力的需求也越來越多，此時就需要將軟硬件充分結(jié)合起來。這也是天數(shù)智芯決定打造高性能 AI 芯片的原因之一。

記者(公眾號：記者)了解到，天數(shù)智芯已經(jīng)布局了云端、邊緣端和終端的 AI 芯片，將針對不同的市場，提供云、邊、端的算力支持；其 GPGPU 流片計(jì)劃正在如期推進(jìn)，據(jù)現(xiàn)有 PPA 數(shù)據(jù)顯示，對比 Nvidia V100，會有三倍的功耗比提升。而且，在6月中旬的斯坦福 DAWN Bench 深度學(xué)習(xí)推理榜單中，天數(shù)智芯的圖像識別性能斬獲第一，性能比此前榜單中表現(xiàn)最優(yōu)的機(jī)構(gòu)提升了30%，與華為、寒武紀(jì)、阿里云分列榜單前四位置。

在大會演講結(jié)束之后，李云鵬接受了記者的采訪，精彩內(nèi)容節(jié)選如下：

記者：您一直在強(qiáng)調(diào)全算力的重要性，您認(rèn)為，天數(shù)智芯在這方面的優(yōu)勢什么時候能發(fā)揮出來？

李云鵬：機(jī)會是留給有準(zhǔn)備的人的。天數(shù)智芯雖然 2015 年才成立，但在成立之前，我們也花了很長時間來思考究竟要做什么。眼下，隨著 5G 逐漸普及，數(shù)據(jù)不斷累積，各行各業(yè)都需要從海量數(shù)據(jù)當(dāng)中提取自己所需要的、具有價值的數(shù)據(jù)。在接下來兩三年里將爆發(fā)數(shù)據(jù)驅(qū)動的“春天”，我們認(rèn)為，天數(shù)智芯恰巧趕上了這一波浪潮。

記者：天數(shù)智芯將會推出高性能云端 GPGPU Big Island，請問這是出于什么樣的考慮？

李云鵬：如果是對一個沒有做過芯片設(shè)計(jì)公司來說，這種選擇肯定是有風(fēng)險(xiǎn)的。不過，天數(shù)智芯不一樣。首先，天數(shù)智芯有一支可以說是國內(nèi)唯一的完整高端芯片設(shè)計(jì)團(tuán)隊(duì)，有著豐富而完整的高端芯片產(chǎn)品研發(fā)經(jīng)驗(yàn)和技術(shù)實(shí)力。其次，天數(shù)智芯通過即將推出的邊緣端AI芯片EPU，將產(chǎn)品研發(fā)設(shè)計(jì)全流程打通，進(jìn)一步降低風(fēng)險(xiǎn)，提前獲得市場反饋來為高性能云端芯片積累經(jīng)驗(yàn)。

記者：云端市場代表相對穩(wěn)定的需求，產(chǎn)品迭代的周期也會更長，這會對公司的營收產(chǎn)生影響嗎？

李云鵬：從某種意義上來說確實(shí)是這樣，因?yàn)橐豢钭钚碌姆?wù)器產(chǎn)品問世之后，一開始其實(shí)沒有多大的銷量。但研發(fā)周期長其實(shí)是件好事，因?yàn)槲覀冋f的穩(wěn)定不是看某一個模塊的穩(wěn)定，而是整個系統(tǒng)，軟硬件協(xié)同的穩(wěn)定。我大學(xué)第一堂課的老師，說了這么一句話，“坐下來，鉆進(jìn)去，好好做學(xué)問”。在高端通用芯片和基礎(chǔ)軟件的領(lǐng)域也是這樣，需要長時間的投入也需要持之以恒的決心。

以下是李云鵬大會現(xiàn)場全部演講內(nèi)容，記者作了不改變原意的整理及編輯：

謝謝各位，謝謝大會主辦方，這是我第二次來到 CCF-GAIR 的會場，今天報(bào)告的主題是《海量數(shù)據(jù)時代的全算力》。

什么是 Zettabyte Era？數(shù)據(jù)的累計(jì)達(dá)到一定體量，收集、分析、運(yùn)用數(shù)據(jù)必然推動社會的發(fā)展。無論是 Collect、Organize、Analyze、Infuse 都會遇到這個問題。作為創(chuàng)業(yè)公司，什么是根本性的需求，我們的答案非常簡單——隨著數(shù)據(jù)體量不斷增加、算法不斷演進(jìn)和迭代，對數(shù)據(jù)的處理本身需要所謂的算力。

那么，什么是算力？我們的產(chǎn)品是做哪部分的算力？我們說提供全面的算力，這個“全面”又指什么？舉個例子，這張圖片上有一輛賽車，無論是在北京二環(huán)開車，還是在上海高架上開車，車況、車流、天氣情況都會與車輛的駕駛速度密切相關(guān)。換句話說，汽車的引擎可以定義為硬件，整個路況、車流、天氣和操控定義為軟件，從這個意義上來講，只有軟硬件的充分結(jié)合才能提升極致的算力。

很多公司要么做硬件、要么做軟件、要么做 AI 的算法，其實(shí)這對整個合作來說是非常大的 挑戰(zhàn)，傳統(tǒng)業(yè)界的迭代升級大概需要花十年的時間，硬件的研發(fā)周期相對來說以年為計(jì)算，而軟件隨著開源的發(fā)展，迭代周期越來越快，軟件平均兩周有很大的迭代，具體可以說是以天為計(jì)算。

不同領(lǐng)域有不同的專長，對天數(shù)智芯來說，我們在海量數(shù)據(jù)處理時代看到了自身發(fā)展的機(jī)遇，即為具體 AI 應(yīng)用提供相應(yīng)的軟件平臺，同時提供極致算力的硬件服務(wù)或是芯片的服務(wù)。

我們技術(shù)的開發(fā)邏輯是這樣的：首先從軟件算力切入，軟件算力是什么？是如何利用軟件來提升已有硬件的平均算力。如今，天數(shù)智芯的中間件產(chǎn)品可以和市場上已有的任何一款開源計(jì)算框架完美配合，能在已有的硬件處理器上達(dá)到更高的處理效率。隨著中間件的推出和上層應(yīng)用的不斷落地，我們也將推出相應(yīng)的芯片產(chǎn)品，為已有的硬件產(chǎn)品和已有的系統(tǒng)解決方案提供平滑的、透明的遷移。

那么，我們?nèi)绾巫鏊懔δ?？行業(yè)內(nèi)一共有三種方式：一是通過寫代碼；二是通過中間件；三是選擇基礎(chǔ)的算子層級。天數(shù)智芯就是選擇了第三種路徑，即所謂的基礎(chǔ)軟件層加速技術(shù)。因?yàn)椋?strong>整個計(jì)算力受到多方面因素影響，不僅要面臨處理器的問題，還要面臨 I/O 的問題；不僅要解決機(jī)器越做越大，還要解決機(jī)器越做越多的問題，包括新的標(biāo)準(zhǔn)化硬件不斷地推出。

在上個月的斯坦福 DAWN Bench 深度學(xué)習(xí)推理榜單中，天數(shù)智芯和另外三家國內(nèi)企業(yè)分別為前四名，我們?nèi)〉昧说谝幻暮贸煽儯瑏嗰R遜是第五名。

還有一個主要的問題關(guān)于 AI 芯片。每當(dāng)談及芯片的時候，大家都會想到美國搞發(fā)明、日本把它做小、中國把它做便宜。而且，一談到芯片，大家首先關(guān)注的就是量，沒有量做什么芯片？談到量的東西或者是可能達(dá)到現(xiàn)象級的量，我喜歡用 Gompertz 曲線，上一個現(xiàn)象級的需求來自于手機(jī)。

關(guān)于全球晶體管市場的需求，從上圖 2010 年到 2015 年的需求數(shù)據(jù)來看，我們即將面臨半導(dǎo)體市場的增長大潮。市場上有各種各樣的半導(dǎo)體公司，有成熟的、有初創(chuàng)的。芯片的研發(fā)也有不同的開發(fā)策略，一般是根據(jù)需求和性能來決定開發(fā)的策略。我們的 AI 芯片需要什么樣的功能？過去兩年大家都在說摩爾定律已經(jīng)不行了，CPU 解決不了 AI 大數(shù)據(jù)時代的問題，所以要用 GPU AI 芯片。

Makimoto 對半導(dǎo)體的發(fā)展也有貢獻(xiàn)，比如 Makimoto's Wave。從 60 年代以來，半導(dǎo)體的發(fā)展趨近標(biāo)準(zhǔn)化和定制化。如今已經(jīng)是 2019 年，過去數(shù)年我們一直在呼喚AI 芯片和高性能計(jì)算芯片，如果 Makimoto’s Wave 仍然有效的話，下一個波峰將是超高靈活度集成的芯片，同樣的標(biāo)準(zhǔn)化硬件也發(fā)生在 90 年代末期和 2000 年代中期的 FPGA 時代和英特爾時代。

硬件的開發(fā)策略是要提供超高靈活度的高性能處理芯片，這種情況下，市場上有沒有同款芯片？ 天數(shù)智芯提供了很好的選擇，除了做計(jì)算以外，還提供一個完整的、可編程的標(biāo)準(zhǔn)性架構(gòu)，為此針對當(dāng)前流行的數(shù)據(jù)驅(qū)動型應(yīng)用，包括 AI 算法本身做專門的定制和優(yōu)化。我們的 IP 提供完整的靈活度，我們針對不同的市場，不僅有云，還有邊、端，或是任何一個需要相應(yīng)算力支持的地方，這是很重要的定義。

天數(shù)智芯在過去三年的努力中，已有的數(shù)據(jù)在云端訓(xùn)練好可以使用邊緣計(jì)算系統(tǒng)和平臺套裝，無縫的遷移至硬件端。今天看到所有在試驗(yàn)車上運(yùn)行的應(yīng)用，是基于 NVidia TX2，相應(yīng)的 Iluvatar EPU 產(chǎn)品也將在近期發(fā)布，做到完整的軟硬件結(jié)合的客控系統(tǒng)。

關(guān)于Edge Cloud。5G 來了，我們的手機(jī)離基站越來越近了，但基站離數(shù)據(jù)中心還很遠(yuǎn)，不斷產(chǎn)生的計(jì)算需求將會向邊緣端涌入。邊緣端是否具備足夠大的計(jì)算能力？為此我們也推出了終端芯片解決方案。

我的老東家是 Oracle。記得2009 年 Oracle 把惠普的 CEO 馬克·赫德招過來，馬克·赫德給中層開會的時候說，你們知不知道任何一家數(shù)據(jù)中心買惠普的產(chǎn)品，他的生命周期有多長？答案是20年。這就意味著數(shù)據(jù)中心持續(xù)的變化相對小。對標(biāo) Nvidia V100，我們相應(yīng)的流片計(jì)劃正在正常推進(jìn)，據(jù)現(xiàn)有 PPA 數(shù)據(jù)顯示，將會有三倍的功耗比提升，就算是比較下一代的 V100 產(chǎn)品，天數(shù)智芯的 BI 依然有 75% 性能提升。

我們?nèi)绾巫鲆豢铎`活的算力芯片，配合開源生態(tài)和已有生態(tài)的軟件，為整個系統(tǒng)提供支撐？這是我們所謂協(xié)同設(shè)計(jì)的基礎(chǔ)概念，如何 Meet In The Middle，兩者之間是否能融合？這個時候，物理學(xué)概念動態(tài)平衡 Dynamic Equilibrium 的有趣之處就體現(xiàn)出來了，天數(shù)智芯兩方面（軟件和硬件）的業(yè)務(wù)具備動態(tài)平衡的特征，兩者之間是可以相互轉(zhuǎn)換的，換句話說，軟件能為硬件迭代，硬件能為軟件進(jìn)步提升提供幫助。任何一個狀態(tài)本身的此消彼漲，軟件多一點(diǎn)硬件就會少一點(diǎn)。

我對 Steve Jobs 的書看得不多，但有一句話我非常有感想——“I discovered that the best innovation is sometimes the company, the way you organize”（ 我發(fā)現(xiàn)最好的創(chuàng)新是系統(tǒng)組織的化身， 即公司本身）。當(dāng)前時代非常適合創(chuàng)業(yè)創(chuàng)新，我們可以實(shí)現(xiàn)技術(shù)創(chuàng)新、市場創(chuàng)新、模式創(chuàng)新等，而作為一個公司本身最好的創(chuàng)新是什么？是如何系統(tǒng)化組織。作為一家科技公司，如何組織規(guī)劃自身的產(chǎn)品，變成一個有活力的組織是很有必要的。

謝謝各位，這是我分享的內(nèi)容。