終端AI芯片獲勝的關(guān)鍵，是軟件？

AI的發(fā)展正在從云端走向終端，未來(lái)無(wú)論是智能手機(jī)、汽車(chē)、無(wú)人機(jī)、機(jī)器人都將增加更多的AI功能。市場(chǎng)的需求吸引了越來(lái)越多AI芯片公司的加入，在終端AI芯片公司不斷推出更高算力芯片的時(shí)候，可以發(fā)現(xiàn)他們的硬件各有長(zhǎng)處但很相似，這是否意味著軟件才是終端AI芯片獲勝的關(guān)鍵？

終端AI芯片的硬件比拼

根據(jù)J.P. Morgan的預(yù)測(cè)，2018年到2022年，全球半導(dǎo)體市場(chǎng)的復(fù)合年均增長(zhǎng)率（CAGR）將為5-6%，而同期AI半導(dǎo)體市場(chǎng)的復(fù)合年均增長(zhǎng)率將高達(dá)59%。這其中的增長(zhǎng)應(yīng)該很大一部分源于終端設(shè)備，包括手機(jī)、自動(dòng)駕駛汽車(chē)、無(wú)人機(jī)、機(jī)器人等智能設(shè)備對(duì)低延遲、低功耗、低成本、高可靠性、高安全性人工智能的需求。因此，來(lái)自視覺(jué)、語(yǔ)音等應(yīng)用促使等越來(lái)越多的公司開(kāi)始設(shè)計(jì)通用的AI芯片，并進(jìn)一步促使半導(dǎo)體IP提供商推出AI處理器IP。

以CEVA今年推出的用于前端設(shè)備深度學(xué)習(xí)的AI處理器IP NeuPro為例，該處理器由NeuPro引擎和NeuPro VPU組成。NeuPro引擎包括神經(jīng)網(wǎng)絡(luò)層的硬件實(shí)現(xiàn)，其中包括卷積、全連通、池化和激活。NeuPro VPU是可編程矢量DSP，用于處理CDNN軟件，同時(shí)為AI負(fù)載的新進(jìn)展提供基于軟件的支持。

據(jù)悉，NeuPro支持8位和16位神經(jīng)網(wǎng)絡(luò)，MAC單元在運(yùn)行時(shí)的利用率達(dá)90%以上，整體處理器的設(shè)計(jì)大幅降低了DDR帶寬，功耗得以改善。另外，NeuPro還可以與CEVA-XM4或CEVA-XM6視覺(jué)平臺(tái)相結(jié)合，使圖像處理、計(jì)算機(jī)視覺(jué)和神經(jīng)網(wǎng)絡(luò)的處理能有靈活的選擇。

當(dāng)然，為了滿(mǎn)足不用設(shè)備對(duì)AI性能的需求，NeuPro系列處理器可以提供2TOPS到12.5TOPS的性能，具體分為四款A(yù)I處理器，包含512個(gè)MAC單元的NP500面向物聯(lián)網(wǎng)、可穿戴設(shè)備和相機(jī)；包含1024個(gè)MAC單元的NP1000面向中檔智能手機(jī)、ADAS、工業(yè)應(yīng)用和AR / VR頭戴設(shè)備；包含2048個(gè)MAC單元的NP2000瞄準(zhǔn)高端智能手機(jī)、監(jiān)控、機(jī)器人和無(wú)人機(jī)；包含4096個(gè)MAC單元的NP4000用于企業(yè)監(jiān)控和自動(dòng)駕駛的高性能邊緣處理。

了解到，NeuPro包含了CNN、RNN、DNN、XNN等，多網(wǎng)絡(luò)和模型的支持，處理性能提高的同時(shí)，不可避免會(huì)增大處理器的面積，功耗也會(huì)相應(yīng)的增加。為了降低功耗，CEVA營(yíng)銷(xiāo)副總裁Moshe Sheier表示：“數(shù)據(jù)的加載和存儲(chǔ)在AI處理器中能量的消耗會(huì)占比較大的比重，因此NeuPro會(huì)把對(duì)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行合并、壓縮和處理，同時(shí)將32位浮點(diǎn)量化到16位、8位甚至更低的位數(shù)，減少數(shù)據(jù)的加載和存儲(chǔ)。另外，NeuPro Engine和VPU單元之間的數(shù)據(jù)交換也可以通過(guò)直連通道，不需要通過(guò)SoC總線(xiàn)做交換，大大減少中間數(shù)據(jù)的加載?！?/p>

為了保持硬件的靈活性，Moshe Sheier告訴：“視覺(jué)應(yīng)用在不斷的發(fā)展，但無(wú)論是新出現(xiàn)的層還是模型，都可以放到我們的Vision DSP（VPU）上處理，既能保持DSP很強(qiáng)的功耗和性能優(yōu)勢(shì)，也能讓NeuPro不斷適應(yīng)新的變化，這也是我們AI方案的特點(diǎn)?！?/p>

Moshe Sheier同時(shí)表示，AI還處于一個(gè)早期的階段，現(xiàn)在的情況是各家的AI處理器IP在SoC中所占的面積都不小，而人工智能還在不斷演進(jìn)中，未來(lái)算法和設(shè)計(jì)的改進(jìn)會(huì)持續(xù)帶來(lái)AI技術(shù)的更新。在AI處理器的設(shè)計(jì)上，雖然每家的產(chǎn)品會(huì)各有特色，但又很相似，因?yàn)榇蠹叶荚诙袽AC單元，用更多的MAC單元實(shí)現(xiàn)更高的硬件指標(biāo)，但在同樣的工藝下，面積和功耗都很接近。這時(shí)我們還需要思考，MAC單元的成本、利用率以及最終的功耗和面積。因此，如何延長(zhǎng)產(chǎn)品的周期更好地適應(yīng)OEM廠(chǎng)商不斷變化的需求非常關(guān)鍵，這時(shí)軟件的作用尤為明顯，能夠通過(guò)軟硬結(jié)合不斷適應(yīng)技術(shù)變化和提高效率的AI方案對(duì)產(chǎn)品落地非常重要。。

軟件才是AI處理器成功的關(guān)鍵？

據(jù)介紹，與NeuPro系列處理器配合的是CDNN神經(jīng)網(wǎng)絡(luò)軟件框架，它的主要作用是把用戶(hù)使用不同框架訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行量化、壓縮等處理，然后自動(dòng)地部署到底層的硬件。Moshe Sheier強(qiáng)調(diào)，CDNN所能實(shí)現(xiàn)的自動(dòng)化是基于CEVA對(duì)應(yīng)用和協(xié)議的深入了解和分析，加上長(zhǎng)期的積累判斷哪些工作適合什么樣的硬件，另外，CEVA不同的硬件平臺(tái)軟件使用的都是同一套框架。

可以看到，CEVA也在不斷完善CDNN，最近發(fā)布的最新CDNN版本具有開(kāi)放式神經(jīng)網(wǎng)絡(luò)交換(ONNX，由Facebook、微軟和AWS創(chuàng)建的開(kāi)放格式，用于實(shí)現(xiàn)AI社群內(nèi)的互操作性和可移植性，可讓開(kāi)發(fā)人員針對(duì)項(xiàng)目使用合適的工具組合)支持。CEVA副總裁兼視覺(jué)業(yè)務(wù)部門(mén)總經(jīng)理Ilan Yona 表示：“CEVA為實(shí)現(xiàn)開(kāi)放、可互操作的AI生態(tài)系統(tǒng)，人工智能應(yīng)用程序開(kāi)發(fā)人員能夠充分利用生態(tài)系統(tǒng)中各種不同深度學(xué)習(xí)框架，考慮其功能和易用性，為所需特定應(yīng)用選擇最合適的深度學(xué)習(xí)框架。通過(guò)為CDNN編譯器技術(shù)添加ONNX支持，我們?yōu)镃EVA-XM和NeuPro的客戶(hù)及生態(tài)系統(tǒng)合作伙伴提供了更廣泛的功能，用于培訓(xùn)和豐富其神經(jīng)網(wǎng)絡(luò)應(yīng)用?！?/p>

Moshe Sheier表示：“如果看語(yǔ)音處理，無(wú)論是喚醒還是關(guān)鍵字識(shí)別都已經(jīng)從傳統(tǒng)的算法全面轉(zhuǎn)變到神經(jīng)網(wǎng)絡(luò)處理，這種算法的更新和軟件的更新反過(guò)來(lái)會(huì)對(duì)硬件提出更高更新的要求，也就是說(shuō)算法和平臺(tái)會(huì)不斷的更新。因此在AI處理器演進(jìn)過(guò)程當(dāng)中，我們應(yīng)該適當(dāng)?shù)亩嘤密浖脚_(tái)，不能完全依賴(lài)于固定的硬件，從而延長(zhǎng)產(chǎn)品生命周期?！?/p>

小結(jié)

終端產(chǎn)品的AI需求促使不少公司進(jìn)入AI領(lǐng)域，而AI芯片公司的需求又推動(dòng)半導(dǎo)體IP公司推出AI處理器IP?？梢钥吹?，在算法和模型還不夠穩(wěn)定的時(shí)候，提供通用IP和平臺(tái)的公司并沒(méi)有著急推出產(chǎn)品，而是等待算法和模型穩(wěn)定之后選擇合適的時(shí)機(jī)和領(lǐng)域進(jìn)入市場(chǎng)。

異構(gòu)架構(gòu)是AI芯片更好的選擇，終端AI芯片相似的的地方在于增加MAC單元提升性能，同時(shí)為降低功耗也為減少數(shù)據(jù)的加載和存儲(chǔ)使用了專(zhuān)門(mén)的技術(shù)。更為關(guān)鍵的是，為保持對(duì)未來(lái)算法和模型的適應(yīng)性，除了集成具有可編程性能的硬件，軟件更高的可配置性成為AI處理器中保持競(jìng)爭(zhēng)力，延長(zhǎng)產(chǎn)品周期非常關(guān)鍵的部分。