思必馳選擇聯(lián)手強(qiáng)者打造AI芯片 明知山有虎偏向虎山行

在AI橫行的當(dāng)下，沒(méi)有什么高科技能比AI更能激起廣大用戶內(nèi)心的好奇，很多創(chuàng)業(yè)公司都在拿AI當(dāng)噱頭，幾乎所有傳統(tǒng)公司都竭盡全力向AI靠近。于是去年智能音箱火了，天貓精靈、小愛(ài)音箱、亞馬遜的Echo紛紛走入我們的生活，語(yǔ)音控制確實(shí)比硬件控制更加便捷，有些設(shè)備廠商甚至打出一個(gè)口號(hào)“能動(dòng)動(dòng)嘴解決的事情就不讓用戶動(dòng)手”。

在智能語(yǔ)音處理領(lǐng)域，思必馳以算法見(jiàn)長(zhǎng)。從2013年開(kāi)始，思必馳專(zhuān)注人性化的自然語(yǔ)言交互方案，在2017年基于語(yǔ)音技術(shù)積淀推出了DUI開(kāi)放平臺(tái)，開(kāi)啟全鏈路對(duì)話定制；2018年，思必馳擠身中國(guó)AI國(guó)際隊(duì)，14篇論文入選ICASSP，并發(fā)布了會(huì)話精靈。從應(yīng)用市場(chǎng)來(lái)看，思必馳CEO高始興向記者介紹，“我們打通了全鏈路，實(shí)現(xiàn)了規(guī)模化定制，終端設(shè)備激活8000多萬(wàn)臺(tái)，開(kāi)發(fā)者超過(guò)17000人，打通了16葛智能家居平臺(tái)。在車(chē)聯(lián)網(wǎng)后裝市場(chǎng)、智能音箱、兒童平板、故事機(jī)，以及知識(shí)機(jī)器人等關(guān)鍵領(lǐng)域市場(chǎng)占有率位居第一，在汽車(chē)前裝、電視、白電、智能客服等重點(diǎn)領(lǐng)域增速第一?！?/p>

思必馳聯(lián)合創(chuàng)始人、首席科學(xué)家俞凱

獨(dú)行者快，眾行者遠(yuǎn)，思必馳選擇聯(lián)手強(qiáng)者打造AI芯片

思必馳造芯是經(jīng)過(guò)了深思熟慮之后作出的決定，而且選擇適合自己的路，用思必馳聯(lián)合創(chuàng)始人、首席科學(xué)家俞凱的話說(shuō)就是“獨(dú)行者快，眾行者遠(yuǎn)”，思必馳選擇與中芯國(guó)際旗下的中芯聚源合資成立深聰智能公司，從2017年初開(kāi)始醞釀，2018年2月開(kāi)始定制芯片，2018年8月份實(shí)現(xiàn)流片，2018年11月進(jìn)行驗(yàn)證。

深聰智能CTO朱澄宇介紹TH1520是一款聚焦于語(yǔ)音應(yīng)用場(chǎng)景下的AI專(zhuān)用芯片，主要面向智能家居、智能終端、車(chē)載、手機(jī)、可穿戴設(shè)備等各類(lèi)終端設(shè)備。解決方案包含算法＋芯片，具有完整語(yǔ)音交互功能，能實(shí)現(xiàn)語(yǔ)音處理、語(yǔ)音識(shí)別、語(yǔ)音播報(bào)等功能，支持離線語(yǔ)音交互。

他強(qiáng)調(diào)，“TH1520進(jìn)行了算法硬件優(yōu)化，基于雙DSP架構(gòu)，內(nèi)部集成codec編解碼器以及大容量的內(nèi)置存儲(chǔ)單元，同時(shí)，TH1520采用了AI指令集擴(kuò)展和算法硬件加速的方式，使其相較于傳統(tǒng)通用芯片具有10X以上的效率提升。TH1520在架構(gòu)上具有算力及存儲(chǔ)資源的靈活性，支持未來(lái)算法的升級(jí)和擴(kuò)展?！?/p>

TH1520兼具低功耗及實(shí)用性，采用多級(jí)喚醒模式，內(nèi)置低功耗IP，使其在always－on監(jiān)聽(tīng)階段的功耗低至毫瓦級(jí)，典型工作場(chǎng)景功耗僅需幾十毫瓦，極端場(chǎng)景峰值功耗不超過(guò)百毫瓦。該芯片支持單麥、雙麥、線性4麥、環(huán)形4麥、環(huán)形6麥等全系列麥克風(fēng)陣列，同時(shí)支持USB／SPI／UART／I2S／I2C／GPIO等應(yīng)用接口和多種格式的參考音，能在各類(lèi)IOT產(chǎn)品中靈活部署應(yīng)用。

語(yǔ)音算法是占用內(nèi)存的大戶，通過(guò)軟硬融合思必馳知道如何優(yōu)化，經(jīng)過(guò)團(tuán)隊(duì)的交流，成功將內(nèi)存放到了片內(nèi)，片內(nèi)的內(nèi)存功耗比片外內(nèi)存功耗小兩個(gè)數(shù)量級(jí)，對(duì)降低功耗起到?jīng)Q定性作用。

在發(fā)布會(huì)現(xiàn)場(chǎng)，朱澄宇并沒(méi)有介紹芯片的主頻以及GOP數(shù)量，他的解釋是，一是芯片在調(diào)試，在正式量產(chǎn)會(huì)公布；第二，我們提供的是“芯片＋算法”的解決方案，給用戶提供良好的體驗(yàn)，給開(kāi)發(fā)者帶來(lái)最大的放便是產(chǎn)品的最大亮點(diǎn)。

明知造芯難，為何偏要傾力造？

芯片從業(yè)者都明白，芯片是大坑，不是有豪言壯語(yǔ)就能做成，思必馳卻在這個(gè)時(shí)候發(fā)布了其AI芯片。他們?yōu)槭裁匆爸薮蟮娘L(fēng)險(xiǎn)從算法跨越到硬件？是因?yàn)閲?guó)內(nèi)的造芯熱潮，還是自身的需要？思必馳CTO、深聰智能CEO周偉達(dá)分享了思必馳的造芯之路。

人工智能交互技術(shù)對(duì)芯片的要求很高，第一是計(jì)算量，第二是內(nèi)存，現(xiàn)在芯片的計(jì)算能力和存儲(chǔ)空間不能直接提供給消費(fèi)者來(lái)使用，深度學(xué)習(xí)最早應(yīng)用于神經(jīng)網(wǎng)絡(luò)首先是在PC上實(shí)現(xiàn)，在客戶端使用先要進(jìn)行量化，可以量化到定點(diǎn)的32位、16位、8位，思必馳目前在客戶端的所有定點(diǎn)都是到8位，可能會(huì)定位到4位、2位、1bit。神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)模型不是類(lèi)似于馮諾依曼的CPU架構(gòu)，傳遞的是神經(jīng)沖動(dòng)，不是浮點(diǎn)數(shù)據(jù)，要真正做到類(lèi)人腦運(yùn)算，需要考慮高能效、低功耗的人工智能芯片是否能做到1bit運(yùn)算，到最后的運(yùn)算就不需要存儲(chǔ)了，而是需要數(shù)字邏輯的與非異或，這樣的技術(shù)在思必馳的PC仿真中已經(jīng)驗(yàn)證了，思必馳的技術(shù)未來(lái)有希望用到更多終端上。但是也發(fā)現(xiàn)了問(wèn)題：現(xiàn)在的CPU以1byte為單位，思必馳算法在CPU、DSP上沒(méi)有優(yōu)勢(shì)。于是開(kāi)始考慮從哪里開(kāi)始做？

思必馳做芯片第一是因?yàn)樯窠?jīng)網(wǎng)絡(luò)發(fā)展的需求，第二是更多的市場(chǎng)需求，從成立之初到現(xiàn)在，我們已經(jīng)對(duì)接賦能了上千萬(wàn)套設(shè)備，對(duì)接了ARM、DSP、MIPS、MCU的芯片，存儲(chǔ)空間從幾兆到幾G，因此非常清楚客戶的需求和瓶頸。我們?nèi)绾伟袮I算法提供給客戶，這讓我們看到有大量的市場(chǎng)需求，因此，從技術(shù)發(fā)展和市場(chǎng)需求來(lái)看，做芯片是一條必經(jīng)之路。

思必馳從2016年開(kāi)始籌劃做面向深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)芯片，我們?cè)诒举|(zhì)上是軟件公司，我們也在思考自己能不能做硬件？因此，我們決定和行業(yè)專(zhuān)家一起合作研發(fā)芯片。從2016年到2017年一直在尋找合作伙伴，從芯片行業(yè)的IP供應(yīng)商、芯片制造商、芯片生產(chǎn)商、以及做編譯器、操作系統(tǒng)的公司中篩選，整個(gè)過(guò)程中發(fā)現(xiàn)三個(gè)困難：第一，人工智能算法在未來(lái)的5－10年會(huì)不斷發(fā)展，不斷進(jìn)化、完善，如何做芯片？芯片公司說(shuō)，你可以告訴我你需要多少算力，多少帶寬，多少內(nèi)存，剩下的問(wèn)題交給我來(lái)做。但是我們限制，這款芯片是否能達(dá)到毫瓦級(jí)？在未來(lái)物聯(lián)網(wǎng)應(yīng)用中達(dá)到百微瓦甚至十微瓦？大部分公司無(wú)法做。CPU最小做到幾百毫瓦甚至1W，這需要我們和芯片設(shè)計(jì)公司深度融合來(lái)進(jìn)行合作，需要我們公司開(kāi)放算法，需要芯片公司重新架構(gòu)CPU計(jì)算單元，這一步很難邁出；第二，我們對(duì)接了很多設(shè)備了解了需求，把這些需求提交給芯片公司，他們未必認(rèn)可。第三，未來(lái)數(shù)據(jù)存在很大的安全隱患，消費(fèi)者存在信息泄漏風(fēng)險(xiǎn)，我們想研發(fā)芯片做三層數(shù)據(jù)安全的保護(hù)：第一層加入芯片密碼，只有驗(yàn)證了芯片密碼，應(yīng)用才能啟動(dòng)；第二層用戶加入聲紋，才能啟動(dòng)芯片進(jìn)行錄音，傳輸?shù)皆贫?；第三層，隨著芯片計(jì)算能力增加，可以在本地做通用的語(yǔ)音的識(shí)別，盡可能少在云端傳數(shù)據(jù)，通過(guò)研發(fā)芯片達(dá)到保護(hù)個(gè)人信息安全。最后，思必馳決定做芯片，而且要軟硬結(jié)合做好AI芯片。

軟硬結(jié)合，剛?cè)岵?jì)

軟硬結(jié)合的第一步是把算法變成匯編語(yǔ)言，然后在軟件開(kāi)發(fā)環(huán)境下進(jìn)行分析，分析結(jié)果發(fā)現(xiàn)大有可為。比如，算法中的四舍五入，用匯編來(lái)看，需要判斷、移位、復(fù)制等十個(gè)步驟，芯片工程師覺(jué)得只要一步指令就可以完成，于是算法工程師和硬件工程師一起定制了一套指令，將效率提高了10倍。軟硬件工程師一起交流，碰撞出很多火花，這是我們?cè)谳^短時(shí)間內(nèi)大幅度提升芯片性能的一個(gè)方法，第一步通過(guò)算法的工程實(shí)現(xiàn)、芯片的配置架構(gòu)和芯片的物理進(jìn)行初步融合，就達(dá)到了全系列麥克風(fēng)陣列、AI關(guān)鍵字和指令的識(shí)別，以及低功耗喚醒的目標(biāo)。

第二步，將語(yǔ)音算法和基礎(chǔ)IP再融合，在做語(yǔ)音算法時(shí)考慮到后面的流程，在最底層考慮到前面，進(jìn)行深層次的融合，可以把芯片的能力和能效再提升一個(gè)數(shù)量級(jí)，滿足下一代芯片的需求，本地的語(yǔ)音識(shí)別、本地的語(yǔ)義識(shí)別、安全特征、聲紋特征。第二代芯片的預(yù)研發(fā)已經(jīng)開(kāi)始。

第三，人機(jī)交互的最高境界是擬人化交流，不光需要語(yǔ)音，還需要視覺(jué)、運(yùn)動(dòng)、味覺(jué)、觸覺(jué)，需要更深層次的多模態(tài)整合算法，與存儲(chǔ)工藝封裝等融合和優(yōu)化，會(huì)用到新的存儲(chǔ)技術(shù)做存儲(chǔ)計(jì)算。

將來(lái)軟硬結(jié)合發(fā)展趨勢(shì)是通過(guò)算法和實(shí)現(xiàn)，最終生產(chǎn)深度交流，不斷提高芯片的性能，在摩爾定律走到盡頭的背景下，軟硬結(jié)合大有可為，人工智能軟硬結(jié)合是芯片性能繼續(xù)提升的一個(gè)方向。

AI時(shí)代是一個(gè)軟件定義硬件的時(shí)代

軟件是以天和周為單位進(jìn)行版本更新，而半導(dǎo)體芯片從產(chǎn)品設(shè)計(jì)到流片、驗(yàn)證、封裝、測(cè)試，一般周期是一年半到兩年。清華大學(xué)魏少軍教授說(shuō)過(guò)，即將到來(lái)的AI時(shí)代是一個(gè)軟件定義硬件的時(shí)代，是一個(gè)算法定義芯片的時(shí)代。深聰智能在思必馳強(qiáng)力算法的支持下，優(yōu)勢(shì)就是充分做到“軟件＋硬件”的融合以及深度優(yōu)化，這已經(jīng)反映出軟件定義芯片的時(shí)代已經(jīng)到來(lái)。深聰智能的成立滿足了從算法到模塊，到平臺(tái)到生態(tài)的遷移，思必馳十年的技術(shù)積累，已經(jīng)從一個(gè)算法產(chǎn)品公司邁向一個(gè)平臺(tái)、一個(gè)系統(tǒng)、一個(gè)生態(tài)，打通了云和端，就是欠缺了芯片。

AI＋I(xiàn)oT是下一個(gè)十年是所有半導(dǎo)體公司都關(guān)注的點(diǎn)。通用芯片開(kāi)始是為了滿足最大的出貨量，不管是高通、聯(lián)發(fā)科還是海思、展訊，不管瞄準(zhǔn)的是手機(jī)、TV，還是盒子、白電，他們想要做到的是一款芯片打遍全世界，英特爾控制了PC時(shí)代，彼此都有標(biāo)準(zhǔn)化；在移動(dòng)互聯(lián)網(wǎng)時(shí)代，即使是安卓、ARM、高通、聯(lián)發(fā)科、海思等，它們對(duì)硬件的要求，對(duì)軟件的依附都已經(jīng)被量化，在AI時(shí)代，專(zhuān)用IC才能滿足物聯(lián)網(wǎng)的碎片化需求，借用專(zhuān)用芯片到定制的架構(gòu)，我們只是將算法和算法模型從通用型芯片移植到專(zhuān)用芯片上，我們強(qiáng)調(diào)功耗和專(zhuān)用芯片是為了針對(duì)特定的場(chǎng)景、特定的算法、特定的模型量身定做，而不是通用芯片的“削足適履”。

接下來(lái)是從專(zhuān)用芯片邁向?qū)Ｓ眉軜?gòu)，目前的CPU、FPGA、GPU并不符合未來(lái)神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的需求，我們從專(zhuān)用芯片到專(zhuān)用架構(gòu)，就可以反饋回去修改模型，AI 市場(chǎng)是要透過(guò)使用者來(lái)定義產(chǎn)品，再由把需求反饋給算法，靠算法實(shí)現(xiàn) 。

通用芯片無(wú)法和數(shù)據(jù)產(chǎn)生連接，無(wú)法和市場(chǎng)產(chǎn)生連接，無(wú)法和算法產(chǎn)生連接，算法是靈魂，芯片是框架，沒(méi)有靈魂的框架是產(chǎn)生不了價(jià)值的，必須采用專(zhuān)用芯片才能發(fā)揮算法的潛力。芯片需要老司機(jī)，深聰智能擁有算法大牛和芯片設(shè)計(jì)老鳥(niǎo)，軟件和算法的融合才能作出優(yōu)秀的芯片。思必馳面向的是物聯(lián)網(wǎng)，不做“me too”的產(chǎn)品，而是和眾多的合作伙伴一起共贏，迎接AI時(shí)代的來(lái)臨。