思必馳自研AI芯片，推出毫瓦級(jí)AI語(yǔ)音芯片

AI熱潮催生了很多初創(chuàng)公司，其中有不少AI芯片公司。我們看到許多巨頭和初創(chuàng)公司都把目光鎖定在AI視覺芯片。不過，從2018年上半年開始AI語(yǔ)音芯片也陸續(xù)發(fā)布，2019年1月4日，思必馳在北京正式發(fā)布第一代AI語(yǔ)音芯片TAIHANG。值得注意的是，這款芯片出自思必馳與中芯國(guó)際下屬投資公司中芯聚源的合資公司上海深聰智能，這究竟是為什么？

AI語(yǔ)音技術(shù)真的比圖像挑戰(zhàn)小嗎？

AI圖像和語(yǔ)音是AI技術(shù)應(yīng)用的兩大方向，相比之下圖像如今受到了更大的關(guān)注，一方面是因?yàn)橛邪卜篮妥詣?dòng)駕駛汽車等應(yīng)用市場(chǎng)的驅(qū)動(dòng)，另一方面也有政策的支持。與此同時(shí)，有人認(rèn)為相比圖像，語(yǔ)音的技術(shù)挑戰(zhàn)更小，現(xiàn)有的芯片也已經(jīng)能夠滿足AI語(yǔ)音的需求，這是否存在一些誤解？

思必馳CTO/深聰智能CEO周偉達(dá)接受專訪時(shí)表示：“目前AI圖像處理大部分使用CNN，CNN最大的瓶頸不是帶寬和存儲(chǔ)，而是并行計(jì)算，但解決并行計(jì)算問題用馮諾依曼CPU架構(gòu)做乘法的加速相對(duì)而言是好做的事。AI語(yǔ)音則使用DNN，RNN系列的LSTM、BLSTM，這其實(shí)有比圖像更大的挑戰(zhàn)，一個(gè)是并行乘法計(jì)算，另一個(gè)是模型參數(shù)更大，這會(huì)讓目前的CPU架構(gòu)面臨很大的帶寬瓶頸?！?/p>

“之所以AI圖像更先受到業(yè)界的關(guān)注，一方面是市場(chǎng)的需求，另一方面是因?yàn)閷W(xué)術(shù)圈和工業(yè)界認(rèn)為CNN的硬件優(yōu)化難度小于LSTM的大規(guī)模參數(shù)模型?！敝軅ミ_(dá)進(jìn)一步說明。

因此，可以明確的是深度學(xué)習(xí)算法從2005年提出到現(xiàn)在，其在語(yǔ)音識(shí)別、圖像視覺領(lǐng)域相比傳統(tǒng)算法都帶來了明顯的改進(jìn)。并且，無(wú)論是AI圖像還是AI語(yǔ)音，現(xiàn)有的芯片都能夠處理，但算力不夠效率不高，都需要專用的AI芯片。

思必馳CTO/深聰智能CEO周偉達(dá)

為什么選擇自研AI芯片？

AI的火熱讓市場(chǎng)上涌現(xiàn)了不少AI芯片初創(chuàng)公司，但芯片是一個(gè)技術(shù)密集、人才密集、資金密集的高門檻的行業(yè)，并且芯片真正的成功并非量產(chǎn)，還有后續(xù)的落地應(yīng)用以及不斷的迭代。這也讓芯片的投資回報(bào)周期比較長(zhǎng)。思必馳作為一家以算法和軟件見長(zhǎng)的公司，是什么讓他們下定決心自主研發(fā)芯片？

周偉達(dá)在言由芯生——2019年思必馳AI芯片暨戰(zhàn)略發(fā)布會(huì)上舉了個(gè)例子，他表示思必馳曾經(jīng)對(duì)接過一個(gè)最復(fù)雜的場(chǎng)景，算法運(yùn)行在4核Arm的芯片上，占用了芯片50%-60%的計(jì)算量，語(yǔ)音作為一種交互手段占用這么高的計(jì)算量在許多應(yīng)用場(chǎng)景是難以接受的。

因此，思必馳決定做AI語(yǔ)音專用芯片希望解決通用芯片的三個(gè)閉環(huán)：通用芯片無(wú)法和數(shù)據(jù)產(chǎn)生連接；通用芯片無(wú)法和市場(chǎng)產(chǎn)生連接；更重要的是通用芯片沒有算法，算法是靈魂，芯片是框架。沒有靈魂的框架產(chǎn)生不了價(jià)值的，必須借由專用芯片才能夠?qū)崿F(xiàn)芯片未來的潛能。

AI語(yǔ)音對(duì)專用芯片的需求毋庸置疑，但市場(chǎng)需求才是更強(qiáng)的驅(qū)動(dòng)力。思必馳CEO高始興在發(fā)布會(huì)上提到，思必馳打通了全鏈路對(duì)話技術(shù)，深化軟硬結(jié)合，借助DUI平臺(tái)推進(jìn)定制規(guī)?；?，通過“會(huì)話精靈”提供交互式信息服務(wù)，實(shí)現(xiàn)快速落地。在車聯(lián)網(wǎng)后裝、智能音箱、兒童平板/故事機(jī)、知識(shí)機(jī)器人等領(lǐng)域市場(chǎng)占有率均第一，在汽車前裝、電視/白電、智能客服等重點(diǎn)領(lǐng)域市場(chǎng)增速第一。未來，思必馳將整合智能終端方案能力與會(huì)話精靈智慧服務(wù)能力，形成All In One解決方案，進(jìn)入酒店、地產(chǎn)、物流、養(yǎng)老、醫(yī)療、教育、安全、社區(qū)等更多行業(yè)。

也了解到，思必馳在2017年實(shí)現(xiàn)了收支平衡，2018年邁向了盈利。這其中有市場(chǎng)對(duì)語(yǔ)音需求的快速增長(zhǎng)的大背景，比如智能音箱的出貨量將從2018年的1800萬(wàn)增加到2000萬(wàn)，故事機(jī)在2018年出貨也將超過2000萬(wàn)，以及智能手機(jī)在2018年都陸續(xù)加入了語(yǔ)音助手的功能。當(dāng)然，思必馳在各個(gè)領(lǐng)域保持市場(chǎng)占有率第一更是他們最終選擇進(jìn)入芯片領(lǐng)域的底氣。但是，周偉達(dá)接受采訪時(shí)表示思必馳擅長(zhǎng)的是算法和軟件，最終決定最A(yù)I芯片也有很多顧慮。

為何走出不一樣的AI芯片路？

既然已經(jīng)決定自主研發(fā)AI芯片，如何做就是接下來的關(guān)鍵問題。周偉達(dá)告訴，思必馳進(jìn)從2017年開始行了一年的調(diào)研，剛開始想與IP提供方合作，包括將思必馳的算法移植到他們的CPU、DSP上，但最終發(fā)現(xiàn)不對(duì)硬件做優(yōu)化，直接進(jìn)行算法的移植效率并沒有明顯提升。

與IP提供方的合作帶來的提升這與思必馳的期待相差甚遠(yuǎn)，接下來，思必馳又接觸了芯片外包設(shè)計(jì)公司，這類公司可以根據(jù)給定的芯片需求設(shè)計(jì)出芯片，但由于芯片外包設(shè)計(jì)公司采用項(xiàng)目制，在芯片實(shí)現(xiàn)之后，后續(xù)PPA（Performance、Power、Area）的優(yōu)化他們不會(huì)繼續(xù)進(jìn)行。但高效能的芯片可能設(shè)計(jì)需要20%的精力，后續(xù)的優(yōu)化則需要80%的工作量。

與芯片外包公司的合作也行不通，思必馳又嘗試與具備豐富芯片設(shè)計(jì)經(jīng)驗(yàn)和市場(chǎng)經(jīng)驗(yàn)的SoC公司合作，但是即便思必馳免費(fèi)投入算法團(tuán)隊(duì)與SoC公司聯(lián)合設(shè)計(jì)和優(yōu)化，一年下來計(jì)算效率也只改進(jìn)了20%。

思必馳發(fā)現(xiàn)與芯片設(shè)計(jì)公司合作的方式也走不通，因此想到能否建立更深度的合作，也就是芯片公司出設(shè)計(jì)團(tuán)隊(duì)，思必馳出算法團(tuán)隊(duì)組建合資公司。但這其中也有不少困難，比如SoC公司意愿不強(qiáng)，以及未來還會(huì)涉及知識(shí)產(chǎn)權(quán)的問題。

同樣是深度合作的模式，思必馳又想到與芯片代工廠合作，因?yàn)樾酒S對(duì)IP的驗(yàn)證以及芯片的生產(chǎn)非常有經(jīng)驗(yàn)，也與芯片產(chǎn)業(yè)鏈的上下游都有很好的對(duì)接，對(duì)芯片的量產(chǎn)、良率、訂貨和交貨周期都有很好的保障，對(duì)思必馳而言是一個(gè)不錯(cuò)的選擇，當(dāng)然，代工廠希望合作的是成熟的IP。

最終，思必馳在拜訪了芯片產(chǎn)業(yè)鏈上大大小小的近百家企業(yè)，并在調(diào)研的過程中付諸了行動(dòng)之后，2018年3月，思必馳攜手中芯國(guó)際下屬投資公司中芯聚源，共同注資成立上海深聰半導(dǎo)體有限責(zé)任公司（簡(jiǎn)稱“深聰智能”）正式開啟造芯之路，8月開始流片，11月點(diǎn)亮驗(yàn)證。

首代AI芯片典型工作場(chǎng)景功耗實(shí)現(xiàn)毫瓦級(jí)

基于此前的調(diào)研以及在2017年12月份通過傳統(tǒng)對(duì)接平臺(tái)就已經(jīng)完善了所有算法的移植定點(diǎn)化和優(yōu)化，深聰智能成立之后就開始正式定義思必馳的第一款人工智能語(yǔ)音芯片，一個(gè)月的時(shí)間定義了芯片完整的規(guī)格書，4月份開始進(jìn)行了芯片的底層的技術(shù)研發(fā)，集成驗(yàn)證以及仿真以及優(yōu)化，不到5個(gè)月的時(shí)間思必馳的第一款芯片在8月7日成功流片，并在當(dāng)天點(diǎn)亮。

不過，AI算法還在不斷演進(jìn)，這對(duì)終端AI芯片的設(shè)計(jì)提出了更大的挑戰(zhàn)。對(duì)此，周偉達(dá)表示，得益于思必馳在市場(chǎng)上對(duì)接過大量的這IoT智能設(shè)備，我們對(duì)市場(chǎng)的需求非常了解。另外我們14篇論文入選ICASSP刷新國(guó)家級(jí)自主創(chuàng)新能力新記錄，我們的算法研究是超前的，對(duì)未來兩三年或者更長(zhǎng)時(shí)間都有規(guī)劃預(yù)測(cè)。思必馳的AI芯片已經(jīng)做好了設(shè)計(jì)和規(guī)劃，首先是保證目前的算法能很快的移植進(jìn)去，其次是我們對(duì)接下來兩三年內(nèi)的做優(yōu)化留了一定的空間。

這款快速流片的AI芯片就是深聰TH1520，據(jù)深聰智能CTO朱澄宇介紹，TH1520進(jìn)行了算法硬件優(yōu)化，基于雙DSP架構(gòu)，內(nèi)部集成codec編解碼器以及大容量的內(nèi)置存儲(chǔ)單元，同時(shí)，TH1520采用了AI指令集擴(kuò)展和算法硬件加速的方式，使其相較于傳統(tǒng)通用芯片具有10X以上的效率提升。此外，TH1520在架構(gòu)上具有算力及存儲(chǔ)資源的靈活性，支持未來算法的升級(jí)和擴(kuò)展。

TH1520兼具低功耗及實(shí)用性，采用多級(jí)喚醒模式，內(nèi)置低功耗IP，使其在always-on監(jiān)聽階段的功耗低至毫瓦級(jí)，典型工作場(chǎng)景功耗僅需幾十毫瓦，極端場(chǎng)景峰值功耗不超過百毫瓦。

對(duì)比來看，如果使用Arm芯片，工作場(chǎng)景性能表現(xiàn)優(yōu)化好的至少需要500毫瓦，有些則是瓦級(jí)功耗。周偉達(dá)接受專訪時(shí)表示，毫不夸張的說，我們做AI算法跟硬件結(jié)合做優(yōu)化的時(shí)候，算法優(yōu)化到指令集，內(nèi)存優(yōu)化到byte級(jí)。當(dāng)然，這個(gè)過程中也經(jīng)歷了軟硬件團(tuán)隊(duì)從互相不理解到最終的默契配合。

另外，TH1520支持單麥、雙麥、線性4麥、環(huán)形4麥、環(huán)形6麥等全系列麥克風(fēng)陣列，同時(shí)支持USB/SPI/UART/I2S/I2C/GPIO等應(yīng)用接口和多種格式的參考音，能在各類IoT產(chǎn)品中靈活部署應(yīng)用。

周偉達(dá)也表示，TH1520定位于各類終端設(shè)備，并針對(duì)家居環(huán)境進(jìn)行算法優(yōu)化，能夠快速落地，降低成本、降低功耗，大幅度提升電視、盒子、白電、平板、燈具等產(chǎn)品的用戶體驗(yàn)。

發(fā)布會(huì)現(xiàn)場(chǎng)，思必馳展示了TH1520在音箱、電視以及洗碗機(jī)的三個(gè)Demo，并表示更高級(jí)的功能還在調(diào)試中。

另外，周偉達(dá)向透露TH1520最晚將在今年Q2產(chǎn)量。他還透露思必馳對(duì)于芯片也有自己明確的規(guī)劃，目標(biāo)是能夠研發(fā)出合適的類腦芯片，目前已經(jīng)取得了一些進(jìn)展。

開放是思必馳的態(tài)度

有了自研的AI芯片之后，思必馳能讓終端語(yǔ)音處理能力的提升，這不僅能夠?qū)崿F(xiàn)更多的離線語(yǔ)音功能提升體驗(yàn)，減少數(shù)據(jù)傳輸?shù)皆贫?，同時(shí)基于芯片中加入的芯片密碼，能夠更好地保護(hù)用戶的隱私。

當(dāng)然，更重要的是思必馳-深聰將打造更貼合產(chǎn)品需求的人工智能交互 “云+芯” 整體解決方案。這是否意味著思必馳更傾向于提供完整的解決方案，周偉達(dá)表示我們會(huì)根據(jù)客戶的需求，可以提供軟硬一體的IP，芯片到Turnkey解決方案，我們更希望以產(chǎn)品的性價(jià)比吸引用戶，也希大家能夠一起先把語(yǔ)音市場(chǎng)做大。

思必馳的開放不僅僅體現(xiàn)在最終的產(chǎn)品方案上，周偉達(dá)表示深聰智能也希望能與芯片產(chǎn)業(yè)鏈的各方合作，包括IP提供方，芯片設(shè)計(jì)外包公司。另外，深聰智能希望不僅做人機(jī)語(yǔ)音的交互，未來也可能做圖像，深聰智能歡迎更多做視覺，做圖像甚至做AI金融的公司一起與跟深聰智能合作研發(fā)更智能的類人腦的高效能的人工智能計(jì)算芯片。

小結(jié)

芯片是AI發(fā)展的關(guān)鍵要素之一，當(dāng)然對(duì)于算力的追求也讓更多的芯片公司意識(shí)到需要與算法和軟件公司合作。不過在思必馳AI芯片的研發(fā)中則是思必馳這家以AI語(yǔ)音算法見長(zhǎng)的公司從語(yǔ)音算法和市場(chǎng)需求的角度出發(fā)，進(jìn)入芯片市場(chǎng)，經(jīng)過長(zhǎng)期調(diào)研和慎重考慮最終以合資公司的方式完成AI芯片的研發(fā)，這個(gè)過程克服了許多挑戰(zhàn)，現(xiàn)在還很難說這種模式一定能獲得最好的成果，但卻是思必馳經(jīng)過探索后最合理的選擇。

在采訪的過程中，也能明顯的感受到思必馳開放的態(tài)度，不僅是對(duì)于研發(fā)AI芯片合作的開放，更是以開放的態(tài)度聯(lián)合更多的人去推動(dòng)AI語(yǔ)音技術(shù)的普及。