為了跟上前沿神經(jīng)網(wǎng)絡的要求，高科技公司正在努力尋找提高人工智能性能的最佳方式。與此同時，世界各地涌現(xiàn)出許多初創(chuàng)公司，它們對如何更好的地實現(xiàn)AI提出了新的想法。這一領域正在吸引大量風險資本的投資，這使得該領域不僅擁有大量現(xiàn)金，而且還擁有計算架構的新穎想法。
我們正在追蹤來自美國、歐洲和亞洲的約60家人工智能芯片公司， 從重新研發(fā)可編程邏輯和多核設計，到開發(fā)自己全新架構的公司，再到使用神經(jīng)形態(tài)（腦啟發(fā)）架構和光學計算等未來技術的公司。
以下是10個我們認為有前途，或至少有一些有趣想法的案例。我們將它們按照其產(chǎn)品在網(wǎng)絡中的目標位置分為：數(shù)據(jù)中心、端點或AIoT設備。
數(shù)據(jù)中心的人工智能
根據(jù)位置不同，數(shù)據(jù)中心可以算作“邊緣”。邊緣計算的關鍵概念是在（或接近）生成或收集數(shù)據(jù)的相同地理位置處理數(shù)據(jù)。這包括網(wǎng)關或集線器設備，也包括加速公司單一人工智能應用程序的內部服務器。想想醫(yī)院或醫(yī)學研究機構中加速x射線或CT掃描圖像分類的服務器，以及從工廠接收狀態(tài)數(shù)據(jù)并在現(xiàn)場處理的網(wǎng)關。
Graphcore
總部位于英國布里斯托爾的Graphcore公司在早期的一輪融資中獲得了超過10億美元的估值，成為首家被認定為獨角獸的西方半導體初創(chuàng)公司。
Graphcore的IPU（智能處理單元）芯片擁有超過1200個專業(yè)核心的大規(guī)模并行架構，每個核心可以運行6個程序線程。還有大量的片上內存，幾百MB的RAM，更重要的是，還有45 tb的內存帶寬。這使得整個機器學習模型可以存儲在芯片上。
Graphcore的IPU芯片可以在戴爾服務器上用于邊緣計算應用程序。
Groq
Groq是由谷歌的一個團隊在硅谷創(chuàng)立，擁有70名員工，迄今已籌集了6700萬美元的資金。在SC ‘ 19，他們正式推出了他們的超大芯片，可以達到1000 TOPS。
Groq的軟件優(yōu)先的方法意味著他們的編譯器處理許多通常在硬件中會發(fā)生的控制功能，比如執(zhí)行計劃。軟件會編排所有的數(shù)據(jù)流和時間，以確保計算不會出現(xiàn)停頓，并使延遲、性能和功耗在編譯時完全可預測。
Groq正以其張量流處理器（TSP）芯片為目標，瞄準數(shù)據(jù)中心應用和自動駕駛車輛。
Cerebras
Cerebras是以恢復圓片規(guī)模芯片的倡導而著稱，而這個想法早在80年代就已經(jīng)被放棄。
我們常見的處理器都是經(jīng)過封裝之后才可使用的，實際上如CPU中的核心裸片大小一般在200平方毫米以下，而GPU核心的大小也沒有超過1000平方毫米的，所以在一片晶圓上可以切割出很多核心裸片。不過這并不代表無法制造超大尺寸的芯片，在Hot Chip 31會議中，Cerebras Systems就推出了一款晶圓級深度學習芯片，尺寸達到了215×215平方毫米。幾乎占據(jù)了一整個晶圓的大小。
Cerebras龐大的46，225mm2的芯片，占用整個晶圓，其功耗15千瓦，在84個處理器塊上封裝40萬個核和18GB內存。雖然這些數(shù)字看起來非常龐大，但請記住，這么大的芯片被設計出來，目的是代替成千上萬個GPU的。
而這么大的芯片主要就是用來進行深度學習訓練的，而深度學習的訓練是應用小變化的過程，模型的大小等因素讓神經(jīng)網(wǎng)絡訓練變得非常困難。對于粗粒度計算，需要告訴互聯(lián)才能進行訓練，規(guī)模依舊有限且成本高昂。所以Celebras Systems設計了專門為神經(jīng)網(wǎng)絡原語優(yōu)化的核心，這種核心可編程、可以快速進行西數(shù)計算，而且具有高速互聯(lián)能力。Celebras Systems設計了非常靈活的內核，而且可以高效的處理張量運算。
該公司表示，它已經(jīng)解決了之前困擾晶圓片規(guī)模設計的問題，如成品率（它繞過缺陷），并發(fā)明了對抗熱效應的封裝。
Cerebras已經(jīng)籌集了超過2億美元的資金，此前曾表示，他們的rack系統(tǒng)正在少數(shù)幾個客戶數(shù)據(jù)中心運行。
Cambricon寒武紀
Cambricon是中國最早的人工智能芯片公司之一，但絕不是最后一家。Cambricon是2016年由中國科學院的兩名研究員創(chuàng)立。
由于CPU和通用GPU （GPGPU）指令集在加速神經(jīng)網(wǎng)絡方面缺乏靈活性，他們開發(fā)了自己的指令集架構（ISA），這是一種集成了標量、向量、矩陣、邏輯、數(shù)據(jù)傳輸和控制指令的負載存儲架構。
Cambricon的第一款產(chǎn)品Cambricon-1A被用于數(shù)千萬部智能手機，以及無人機和可穿戴設備等其他終端設備。如今，第二代芯片包括云計算的兩部分和邊緣計算芯片——思源220。這種邊緣芯片的設計是為了填補該公司在邊緣計算產(chǎn)品組合中的空白。思遠220標志著寒武紀實現(xiàn)了云、邊、端的全方位立體覆蓋。MLU220是一款專門用于邊緣計算應用場景的AI加速產(chǎn)品（邊緣人工智能加速卡）。產(chǎn)品集成4核ARM CORTEX A55，LPDDR4x內存及豐富的外圍接口。用戶既可以使用MLU220作為AI加速協(xié)處理器，也可以使用其實現(xiàn)SOC方案。
Cambricon（以及Horizon Robotics，見下文）目前是全球最有價值的芯片初創(chuàng)企業(yè)之一：該公司迄今已融資2億美元，使其市值達到25億美元左右。
端點處的AI
“端點”是指網(wǎng)絡末端的設備，數(shù)據(jù)在收集數(shù)據(jù)的同一設備內處理。這包括從安全攝像頭到消費電子產(chǎn)品和家用電器的一切。當然，由于一些設備既可以用作網(wǎng)關，也存在一些灰色地帶，也可以用作端點（比如自動駕駛汽車或智能手機）。
Hailo
Hailo于2017年在以色列特拉維夫成立，由前以色列國防軍精英情報單位成員創(chuàng)建。該公司約有60名員工，迄今已融資2100萬美元。
Hailo的AI協(xié)同處理器Hailo-8可以處理26臺電腦，功率效率為2.8臺/W。應用目標是ADAS和自動駕駛。它的結構混合了記憶塊、控制塊和計算塊，并通過軟件分配相鄰塊來計算神經(jīng)網(wǎng)絡的每一層。減少芯片內外的數(shù)據(jù)傳輸有助于節(jié)約電能。
Hailo表示他們的Hailo-8將勝過所有其他邊緣處理器，并且尺寸更小，小于一分錢硬幣，內存需求更少。而且除了計算外，它還集成了內存和控制功能。
公司通過設計一種依賴于神經(jīng)網(wǎng)絡核心特性的架構，邊緣設備現(xiàn)在可以比傳統(tǒng)解決方案更高效，更有效，更具持續(xù)性地運行深度學習應用程序，同時顯著降低成本。
由于功能強大的軟件開發(fā)套件（SDK）和新型散熱設計，無需主動冷卻，Hailo-8在幾個AI語義分割和對象檢測基準測試中優(yōu)于英偉達的Xavier AGX，包括ResNet-50。
在圖像分辨率為224 x 224的初步測試中，與Xavier AGX的每秒656幀相比，Hailo-8每秒處理672幀。
Hailo-8預計在2020年上半年開始批量生產(chǎn)。
Kneron
Kneron在圣地亞哥和臺灣擁有150名員工，并獲得了7300萬美元的資金，Kneron是首批在2019年5月將硅推向市場的初創(chuàng)公司之一。該公司已經(jīng)有幾個客戶宣布了其第一代KL520芯片，并在2019年創(chuàng)造了“數(shù)百萬美元”的收入。
KL520針對卷積神經(jīng)網(wǎng)絡（CNN）進行了優(yōu)化，可以在0.5W下運行0.3個TOPS （相當于0.6 TOPS/W）。這已經(jīng)足夠用于IP安全攝像頭中的面部識別，也可用于智能門鎖和門鈴。據(jù)介紹，以這款 KL520 芯片來說，它不僅僅在規(guī)格、性能上領先，還有在成本上能實現(xiàn)比較好的平衡，讓方案擁有更全面的競爭力；其次在智能門鎖特別是人臉識別智能門鎖的高速成長階段，選用 KL520，以更低的門檻切入，有機會快速搶占市場。
該公司最初生產(chǎn)用于面部識別的神經(jīng)網(wǎng)絡，現(xiàn)在又為其神經(jīng)處理單元（NPU）提供這些網(wǎng)絡和IP。該公司表示，第二代芯片將于今年夏天問世，它將能夠加速CNN和遞歸神經(jīng)網(wǎng)絡（RNN）。在 KL520 性能的支持下，耐能還能將這個芯片應用到更多的領域中，但耐能并不滿足于此，他們現(xiàn)在已經(jīng)規(guī)劃了更強的 28nm 和 16nm 產(chǎn)品，展望為未來的 AI 市場帶來更多的可能。
Mythic
Mythic于2012年在密歇根大學成立。該公司目前位于得克薩斯州奧斯汀市，已經(jīng)籌集了8，600萬美元來開發(fā)其模擬計算芯片，該芯片使用基于閃存晶體管的處理器存儲技術，在功率、性能和成本方面都優(yōu)于CPU和GPU。
內存處理器并不是什么新技術，但Mythic表示，它已經(jīng)解決了一些棘手的補償和校準技術，這些技術可以消除噪聲，并允許可靠的8位計算。Mythic計劃銷售獨立芯片以及多芯片處理卡。由于該設備可以處理30幀/秒的高清視頻圖像處理，Mythic的主要目標市場之一是安全攝像頭和用于安全攝像頭系統(tǒng)的現(xiàn)場聚合器。
地平線
Horizon RoboTIcs 于2015年在中國北京成立，這家初創(chuàng)公司到2019年底已經(jīng)籌集了大約6億美元，公司估值為30億美元。如今，Horizon RoboTIcs擁有500多名員工，擁有600多項專利。
Horizon RoboTIcs的BPU（大腦處理單元）最初是為計算機視覺應用而設計。第二代BPU是一個64位多指令多數(shù)據(jù)（MIMD）核心，可以處理所有類型的神經(jīng)網(wǎng)絡（不僅僅是卷積網(wǎng)絡）。它使用該公司的稀疏神經(jīng)網(wǎng)絡來預測物體的運動和場景解析。第三代將為決策算法和深度學習之外的其他AI部分增加加速功能。
Horizon RoboTIcs有兩條芯片產(chǎn)品線：汽車版Journey和AIoT版Sunrise。第一代Journey和Sunrise芯片于2017年12月發(fā)布，第二代基于BPU 2.0的芯片將于2019年秋季發(fā)布。Journey 2.0為L3/L4自動駕駛提供典型功耗2W情況下可提供4TOPS的性能。并結合Horizon自己的感知算法，實現(xiàn)了90%的核心利用率。
Journey 2.0處理器2019年初流片成功，采用臺積電28nm HPC+工藝，基于地平線自主研發(fā)的BPU 2.0架構，集成了2個Cortex-A53核心，典型功耗2W下就可以提供4TOPS的性能，是同等級GPU的10倍以上。
此外，基于BPU 3.0架構的第三代征程處理器Journey 3.0，專為自動駕駛和域控制器打造，同樣符合AEC-Q100和ISO 26262車規(guī)級標準，而預計明年發(fā)布的Matrix 3.0自動駕駛計算平臺也會使用征程三代處理器，算力提升到192TOPS，具備支持ASIL D的系統(tǒng)應用場景的能力。
物聯(lián)網(wǎng)中的人工智能（TinyML）
在這一類，我們考慮微控制器級別的計算機芯片，它們在資源受限的環(huán)境中以超低功耗運行。在這些情況下，端點設備上的人工智能推斷非常有吸引力，因為它增加了延遲，節(jié)省了帶寬，幫助保護隱私，并節(jié)省了與數(shù)據(jù)到云的RF傳輸相關的能量。
GreenWaves
GreenWaves是位于法國格勒諾布爾的博洛尼亞大學的一個分支，它在一個超低功耗ML應用處理器中使用了多個RISC-V核心，用于電池供電的傳感設備。該公司依賴于其自定義指令集擴展，以方便DSP操作和人工智能加速的最低功耗。GreenWaves是最早為業(yè)界提供高度差異化技術和市場定位的RISC-V芯片供應商之一，以滿足市場對RISC-V指令集架構日益增長的需求
GreenWaves作為ARM的競爭對手，將其擁有的專利RISC架構授權給許多芯片設計公司使用。而ARM銷售的知識產(chǎn)權可以結合到芯片制造商制作的芯片中。
2018年他們推出了全球首款物聯(lián)網(wǎng)應用處理器——GAP8，該處理器是業(yè)界首款在物聯(lián)網(wǎng)（IoT）應用中實現(xiàn)可以用電池長期供電人工智能（AI）的超低功耗處理器，可以在傳感設備中進行低功率AI處理，芯片基RISC-V與PULP的完全可編程并行運算架構，以應對機器學習算法最新技術的快速發(fā)展。
GreenWaves的第二代產(chǎn)品GAP9使用了10個核心。其中，1個用作fabric控制器， 9個構成計算集群，控制器和集群位于不同的電壓和頻率域中，因此它們僅在必要時才消耗電能。它還利用了最先進的FD-SOI（完全耗盡的絕緣體上的硅）工藝技術，進一步降低功耗。
GAP9的樣品將于2020年上半年到達。
Eta Compute
Eta Compute為超低功耗物聯(lián)網(wǎng)設備中的AI處理設計了兩個核心—Arm Cortex-M3+一個DSP。兩個核心都使用了動態(tài)電壓和頻率縮放技術，以盡可能低的功率水平運行，這是在沒有鎖相環(huán)的情況下實現(xiàn)的。AI工作負載可以運行在任何一個核心上，也可以運行在兩個核心上（這是由軟件分配）。使用這種技術，在線圖像處理和傳感器融合可以實現(xiàn)功率預算100μw。
Eta Compute還為運行在ECM3532設備上的超低功耗應用優(yōu)化了神經(jīng)網(wǎng)絡。ECM3532為雙核（Arm Cortex-M3和NXP CoolFlux DSP）SoC，可支持用于電池供電或能源采集設計的微瓦級傳感器融合應用。它以僅100μW的功率可實現(xiàn)物聯(lián)網(wǎng)中的在線圖像處理和傳感器應用，號稱能效是其競品的100-1000倍。
Eta Compute成立于2015年，在美國和印度有35名員工，迄今已籌集了1900萬美元資金。樣品已經(jīng)問市。
下載文檔
