思必馳自研AI芯片，推出毫瓦級(jí)AI語音芯片

AI熱潮催生了很多初創(chuàng)公司，其中有不少AI芯片公司。我們看到許多巨頭和初創(chuàng)公司都把目光鎖定在AI視覺芯片。不過，從2018年上半年開始AI語音芯片也陸續(xù)發(fā)布，2019年1月4日，思必馳在北京正式發(fā)布第一代AI語音芯片TAIHANG。值得注意的是，這款芯片出自思必馳與中芯國(guó)際下屬投資公司中芯聚源的合資公司上海深聰智能，這究竟是為什么？

AI語音技術(shù)真的比圖像挑戰(zhàn)小嗎？

AI圖像和語音是AI技術(shù)應(yīng)用的兩大方向，相比之下圖像如今受到了更大的關(guān)注，一方面是因?yàn)橛邪卜篮妥詣?dòng)駕駛汽車等應(yīng)用市場(chǎng)的驅(qū)動(dòng)，另一方面也有政策的支持。與此同時(shí)，有人認(rèn)為相比圖像，語音的技術(shù)挑戰(zhàn)更小，現(xiàn)有的芯片也已經(jīng)能夠滿足AI語音的需求，這是否存在一些誤解？

思必馳CTO/深聰智能CEO周偉達(dá)接受專訪時(shí)表示：“目前AI圖像處理大部分使用CNN，CNN最大的瓶頸不是帶寬和存儲(chǔ)，而是并行計(jì)算，但解決并行計(jì)算問題用馮諾依曼CPU架構(gòu)做乘法的加速相對(duì)而言是好做的事。AI語音則使用DNN，RNN系列的LSTM、BLSTM，這其實(shí)有比圖像更大的挑戰(zhàn)，一個(gè)是并行乘法計(jì)算，另一個(gè)是模型參數(shù)更大，這會(huì)讓目前的CPU架構(gòu)面臨很大的帶寬瓶頸?！?/p>

“之所以AI圖像更先受到業(yè)界的關(guān)注，一方面是市場(chǎng)的需求，另一方面是因?yàn)閷W(xué)術(shù)圈和工業(yè)界認(rèn)為CNN的硬件優(yōu)化難度小于LSTM的大規(guī)模參數(shù)模型。”周偉達(dá)進(jìn)一步說明。

因此，可以明確的是深度學(xué)習(xí)算法從2005年提出到現(xiàn)在，其在語音識(shí)別、圖像視覺領(lǐng)域相比傳統(tǒng)算法都帶來了明顯的改進(jìn)。并且，無論是AI圖像還是AI語音，現(xiàn)有的芯片都能夠處理，但算力不夠效率不高，都需要專用的AI芯片。

思必馳CTO/深聰智能CEO周偉達(dá)

為什么選擇自研AI芯片？

AI的火熱讓市場(chǎng)上涌現(xiàn)了不少AI芯片初創(chuàng)公司，但芯片是一個(gè)技術(shù)密集、人才密集、資金密集的高門檻的行業(yè)，并且芯片真正的成功并非量產(chǎn)，還有后續(xù)的落地應(yīng)用以及不斷的迭代。這也讓芯片的投資回報(bào)周期比較長(zhǎng)。思必馳作為一家以算法和軟件見長(zhǎng)的公司，是什么讓他們下定決心自主研發(fā)芯片？

周偉達(dá)在言由芯生——2019年思必馳AI芯片暨戰(zhàn)略發(fā)布會(huì)上舉了個(gè)例子，他表示思必馳曾經(jīng)對(duì)接過一個(gè)最復(fù)雜的場(chǎng)景，算法運(yùn)行在4核Arm的芯片上，占用了芯片50%-60%的計(jì)算量，語音作為一種交互手段占用這么高的計(jì)算量在許多應(yīng)用場(chǎng)景是難以接受的。

因此，思必馳決定做AI語音專用芯片希望解決通用芯片的三個(gè)閉環(huán)：通用芯片無法和數(shù)據(jù)產(chǎn)生連接；通用芯片無法和市場(chǎng)產(chǎn)生連接；更重要的是通用芯片沒有算法，算法是靈魂，芯片是框架。沒有靈魂的框架產(chǎn)生不了價(jià)值的，必須借由專用芯片才能夠?qū)崿F(xiàn)芯片未來的潛能。

AI語音對(duì)專用芯片的需求毋庸置疑，但市場(chǎng)需求才是更強(qiáng)的驅(qū)動(dòng)力。思必馳CEO高始興在發(fā)布會(huì)上提到，思必馳打通了全鏈路對(duì)話技術(shù)，深化軟硬結(jié)合，借助DUI平臺(tái)推進(jìn)定制規(guī)?；ㄟ^“會(huì)話精靈”提供交互式信息服務(wù)，實(shí)現(xiàn)快速落地。在車聯(lián)網(wǎng)后裝、智能音箱、兒童平板/故事機(jī)、知識(shí)機(jī)器人等領(lǐng)域市場(chǎng)占有率均第一，在汽車前裝、電視/白電、智能客服等重點(diǎn)領(lǐng)域市場(chǎng)增速第一。未來，思必馳將整合智能終端方案能力與會(huì)話精靈智慧服務(wù)能力，形成All In One解決方案，進(jìn)入酒店、地產(chǎn)、物流、養(yǎng)老、醫(yī)療、教育、安全、社區(qū)等更多行業(yè)。

也了解到，思必馳在2017年實(shí)現(xiàn)了收支平衡，2018年邁向了盈利。這其中有市場(chǎng)對(duì)語音需求的快速增長(zhǎng)的大背景，比如智能音箱的出貨量將從2018年的1800萬增加到2000萬，故事機(jī)在2018年出貨也將超過2000萬，以及智能手機(jī)在2018年都陸續(xù)加入了語音助手的功能。當(dāng)然，思必馳在各個(gè)領(lǐng)域保持市場(chǎng)占有率第一更是他們最終選擇進(jìn)入芯片領(lǐng)域的底氣。但是，周偉達(dá)接受采訪時(shí)表示思必馳擅長(zhǎng)的是算法和軟件，最終決定最A(yù)I芯片也有很多顧慮。

為何走出不一樣的AI芯片路？

既然已經(jīng)決定自主研發(fā)AI芯片，如何做就是接下來的關(guān)鍵問題。周偉達(dá)告訴，思必馳進(jìn)從2017年開始行了一年的調(diào)研，剛開始想與IP提供方合作，包括將思必馳的算法移植到他們的CPU、DSP上，但最終發(fā)現(xiàn)不對(duì)硬件做優(yōu)化，直接進(jìn)行算法的移植效率并沒有明顯提升。

與IP提供方的合作帶來的提升這與思必馳的期待相差甚遠(yuǎn)，接下來，思必馳又接觸了芯片外包設(shè)計(jì)公司，這類公司可以根據(jù)給定的芯片需求設(shè)計(jì)出芯片，但由于芯片外包設(shè)計(jì)公司采用項(xiàng)目制，在芯片實(shí)現(xiàn)之后，后續(xù)PPA（Performance、Power、Area）的優(yōu)化他們不會(huì)繼續(xù)進(jìn)行。但高效能的芯片可能設(shè)計(jì)需要20%的精力，后續(xù)的優(yōu)化則需要80%的工作量。

與芯片外包公司的合作也行不通，思必馳又嘗試與具備豐富芯片設(shè)計(jì)經(jīng)驗(yàn)和市場(chǎng)經(jīng)驗(yàn)的SoC公司合作，但是即便思必馳免費(fèi)投入算法團(tuán)隊(duì)與SoC公司聯(lián)合設(shè)計(jì)和優(yōu)化，一年下來計(jì)算效率也只改進(jìn)了20%。

思必馳發(fā)現(xiàn)與芯片設(shè)計(jì)公司合作的方式也走不通，因此想到能否建立更深度的合作，也就是芯片公司出設(shè)計(jì)團(tuán)隊(duì)，思必馳出算法團(tuán)隊(duì)組建合資公司。但這其中也有不少困難，比如SoC公司意愿不強(qiáng)，以及未來還會(huì)涉及知識(shí)產(chǎn)權(quán)的問題。

同樣是深度合作的模式，思必馳又想到與芯片代工廠合作，因?yàn)樾酒S對(duì)IP的驗(yàn)證以及芯片的生產(chǎn)非常有經(jīng)驗(yàn)，也與芯片產(chǎn)業(yè)鏈的上下游都有很好的對(duì)接，對(duì)芯片的量產(chǎn)、良率、訂貨和交貨周期都有很好的保障，對(duì)思必馳而言是一個(gè)不錯(cuò)的選擇，當(dāng)然，代工廠希望合作的是成熟的IP。

最終，思必馳在拜訪了芯片產(chǎn)業(yè)鏈上大大小小的近百家企業(yè)，并在調(diào)研的過程中付諸了行動(dòng)之后，2018年3月，思必馳攜手中芯國(guó)際下屬投資公司中芯聚源，共同注資成立上海深聰半導(dǎo)體有限責(zé)任公司（簡(jiǎn)稱“深聰智能”）正式開啟造芯之路，8月開始流片，11月點(diǎn)亮驗(yàn)證。

首代AI芯片典型工作場(chǎng)景功耗實(shí)現(xiàn)毫瓦級(jí)

基于此前的調(diào)研以及在2017年12月份通過傳統(tǒng)對(duì)接平臺(tái)就已經(jīng)完善了所有算法的移植定點(diǎn)化和優(yōu)化，深聰智能成立之后就開始正式定義思必馳的第一款人工智能語音芯片，一個(gè)月的時(shí)間定義了芯片完整的規(guī)格書，4月份開始進(jìn)行了芯片的底層的技術(shù)研發(fā)，集成驗(yàn)證以及仿真以及優(yōu)化，不到5個(gè)月的時(shí)間思必馳的第一款芯片在8月7日成功流片，并在當(dāng)天點(diǎn)亮。

不過，AI算法還在不斷演進(jìn)，這對(duì)終端AI芯片的設(shè)計(jì)提出了更大的挑戰(zhàn)。對(duì)此，周偉達(dá)表示，得益于思必馳在市場(chǎng)上對(duì)接過大量的這IoT智能設(shè)備，我們對(duì)市場(chǎng)的需求非常了解。另外我們14篇論文入選ICASSP刷新國(guó)家級(jí)自主創(chuàng)新能力新記錄，我們的算法研究是超前的，對(duì)未來兩三年或者更長(zhǎng)時(shí)間都有規(guī)劃預(yù)測(cè)。思必馳的AI芯片已經(jīng)做好了設(shè)計(jì)和規(guī)劃，首先是保證目前的算法能很快的移植進(jìn)去，其次是我們對(duì)接下來兩三年內(nèi)的做優(yōu)化留了一定的空間。

這款快速流片的AI芯片就是深聰TH1520，據(jù)深聰智能CTO朱澄宇介紹，TH1520進(jìn)行了算法硬件優(yōu)化，基于雙DSP架構(gòu)，內(nèi)部集成codec編解碼器以及大容量的內(nèi)置存儲(chǔ)單元，同時(shí)，TH1520采用了AI指令集擴(kuò)展和算法硬件加速的方式，使其相較于傳統(tǒng)通用芯片具有10X以上的效率提升。此外，TH1520在架構(gòu)上具有算力及存儲(chǔ)資源的靈活性，支持未來算法的升級(jí)和擴(kuò)展。

TH1520兼具低功耗及實(shí)用性，采用多級(jí)喚醒模式，內(nèi)置低功耗IP，使其在always-on監(jiān)聽階段的功耗低至毫瓦級(jí)，典型工作場(chǎng)景功耗僅需幾十毫瓦，極端場(chǎng)景峰值功耗不超過百毫瓦。

對(duì)比來看，如果使用Arm芯片，工作場(chǎng)景性能表現(xiàn)優(yōu)化好的至少需要500毫瓦，有些則是瓦級(jí)功耗。周偉達(dá)接受專訪時(shí)表示，毫不夸張的說，我們做AI算法跟硬件結(jié)合做優(yōu)化的時(shí)候，算法優(yōu)化到指令集，內(nèi)存優(yōu)化到byte級(jí)。當(dāng)然，這個(gè)過程中也經(jīng)歷了軟硬件團(tuán)隊(duì)從互相不理解到最終的默契配合。

另外，TH1520支持單麥、雙麥、線性4麥、環(huán)形4麥、環(huán)形6麥等全系列麥克風(fēng)陣列，同時(shí)支持USB/SPI/UART/I2S/I2C/GPIO等應(yīng)用接口和多種格式的參考音，能在各類IoT產(chǎn)品中靈活部署應(yīng)用。

周偉達(dá)也表示，TH1520定位于各類終端設(shè)備，并針對(duì)家居環(huán)境進(jìn)行算法優(yōu)化，能夠快速落地，降低成本、降低功耗，大幅度提升電視、盒子、白電、平板、燈具等產(chǎn)品的用戶體驗(yàn)。

發(fā)布會(huì)現(xiàn)場(chǎng)，思必馳展示了TH1520在音箱、電視以及洗碗機(jī)的三個(gè)Demo，并表示更高級(jí)的功能還在調(diào)試中。

另外，周偉達(dá)向透露TH1520最晚將在今年Q2產(chǎn)量。他還透露思必馳對(duì)于芯片也有自己明確的規(guī)劃，目標(biāo)是能夠研發(fā)出合適的類腦芯片，目前已經(jīng)取得了一些進(jìn)展。

開放是思必馳的態(tài)度

有了自研的AI芯片之后，思必馳能讓終端語音處理能力的提升，這不僅能夠?qū)崿F(xiàn)更多的離線語音功能提升體驗(yàn)，減少數(shù)據(jù)傳輸?shù)皆贫?，同時(shí)基于芯片中加入的芯片密碼，能夠更好地保護(hù)用戶的隱私。

當(dāng)然，更重要的是思必馳-深聰將打造更貼合產(chǎn)品需求的人工智能交互 “云+芯” 整體解決方案。這是否意味著思必馳更傾向于提供完整的解決方案，周偉達(dá)表示我們會(huì)根據(jù)客戶的需求，可以提供軟硬一體的IP，芯片到Turnkey解決方案，我們更希望以產(chǎn)品的性價(jià)比吸引用戶，也希大家能夠一起先把語音市場(chǎng)做大。

思必馳的開放不僅僅體現(xiàn)在最終的產(chǎn)品方案上，周偉達(dá)表示深聰智能也希望能與芯片產(chǎn)業(yè)鏈的各方合作，包括IP提供方，芯片設(shè)計(jì)外包公司。另外，深聰智能希望不僅做人機(jī)語音的交互，未來也可能做圖像，深聰智能歡迎更多做視覺，做圖像甚至做AI金融的公司一起與跟深聰智能合作研發(fā)更智能的類人腦的高效能的人工智能計(jì)算芯片。

小結(jié)

芯片是AI發(fā)展的關(guān)鍵要素之一，當(dāng)然對(duì)于算力的追求也讓更多的芯片公司意識(shí)到需要與算法和軟件公司合作。不過在思必馳AI芯片的研發(fā)中則是思必馳這家以AI語音算法見長(zhǎng)的公司從語音算法和市場(chǎng)需求的角度出發(fā)，進(jìn)入芯片市場(chǎng)，經(jīng)過長(zhǎng)期調(diào)研和慎重考慮最終以合資公司的方式完成AI芯片的研發(fā)，這個(gè)過程克服了許多挑戰(zhàn)，現(xiàn)在還很難說這種模式一定能獲得最好的成果，但卻是思必馳經(jīng)過探索后最合理的選擇。

在采訪的過程中，也能明顯的感受到思必馳開放的態(tài)度，不僅是對(duì)于研發(fā)AI芯片合作的開放，更是以開放的態(tài)度聯(lián)合更多的人去推動(dòng)AI語音技術(shù)的普及。