助聽(tīng)器中的DSP：在極低功耗和延時(shí)基礎(chǔ)上，邁向無(wú)線音頻和AI+的未來(lái)

近年來(lái)單片式的DSP逐漸被Arm核的芯片、FPGA等所取代，變成IP形式存在。但在某些領(lǐng)域，DSP有著不可撼動(dòng)的地位。就像助聽(tīng)器這一領(lǐng)域，DSP仍是為聽(tīng)障人士實(shí)現(xiàn)清晰可靠的音頻處理的最優(yōu)解。而在做好基礎(chǔ)的音頻處理的前提下，助聽(tīng)器中的DSP也在向著無(wú)線音頻傳輸、AI+的方向上開(kāi)始拓展。在簡(jiǎn)單傳統(tǒng)的單片式DSP的基礎(chǔ)上，CPU（Cortex-M等）、模擬前端（FAE）、BLE無(wú)線和神經(jīng)網(wǎng)絡(luò)加速器（NN Accelerater）等按需集成到了DSP上，一起實(shí)現(xiàn)了系統(tǒng)單芯片（SoC）的助聽(tīng)器解決方案。

在助聽(tīng)器DSP音頻處理這一非常垂直的領(lǐng)域，國(guó)際大廠中只有安森美(onsemi)一家在做，并且已經(jīng)在此領(lǐng)域耕耘了十幾年。在近日的“2023北京國(guó)際聽(tīng)力學(xué)大會(huì)”上，安森美作為數(shù)不多的芯片廠商應(yīng)邀出席。我們也借此機(jī)會(huì)采訪到了安森美工業(yè)醫(yī)療智能部門亞太區(qū)高級(jí)營(yíng)銷經(jīng)理?xiàng)钫埾壬?，就助?tīng)器的音頻處理技術(shù)進(jìn)行了深入的探討。

助聽(tīng)器中的DSP：用1毫安的功耗水平，實(shí)現(xiàn)又快又好的音頻處理

助聽(tīng)器分為傳統(tǒng)助聽(tīng)器和OTC助聽(tīng)器兩種：傳統(tǒng)助聽(tīng)器在國(guó)外已經(jīng)發(fā)展了有150多年的歷史，而在中國(guó)的發(fā)展大約有60年左右。2017年8月，美國(guó)通過(guò)了OTC 助聽(tīng)器法案，讓助聽(tīng)器的驗(yàn)配變得更為便捷，OTC助聽(tīng)器也納入了專業(yè)助聽(tīng)器的范疇。（在此討論的僅為氣導(dǎo)的方案，人工耳蝸等骨傳導(dǎo)方案不在其列）

助聽(tīng)器的原理就是通過(guò)麥克風(fēng)采集外界原始聲音信號(hào)，經(jīng)過(guò)ADC將模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)，經(jīng)過(guò)DSP的一系列算法處理，然后將處理好的數(shù)字信息信號(hào)重新轉(zhuǎn)換為模擬信號(hào)，經(jīng)過(guò)揚(yáng)聲器再傳導(dǎo)到人耳中。DSP是整個(gè)音頻信號(hào)處理鏈路的關(guān)鍵，經(jīng)過(guò)了多年的沉淀，針對(duì)助聽(tīng)器也都有了專門的算法。通過(guò)像聲音能量計(jì)算、時(shí)域頻域轉(zhuǎn)換、環(huán)境監(jiān)測(cè)、風(fēng)噪處理、嘯叫抑制、聽(tīng)損聲壓調(diào)整等等一系列的算法，實(shí)現(xiàn)背景噪聲減少和人聲增強(qiáng)，最終確保聽(tīng)損人士可以聽(tīng)得見(jiàn)、聽(tīng)得懂、能交流。

圖：助聽(tīng)器中音頻處理（來(lái)源：fuel admin）

要在小小的助聽(tīng)器中實(shí)現(xiàn)一系列的音頻處理和信號(hào)轉(zhuǎn)換傳輸，挑戰(zhàn)可不小。首先延遲必須要低：10ms內(nèi)最佳；其次功耗要低：受限于助聽(tīng)器體積較小，電池容量可能僅為100來(lái)個(gè)毫安時(shí)，功耗要低至1毫安以內(nèi)，才能滿足10小時(shí)的續(xù)航需求；最終還要有好的效果：把背景噪聲降下去，把人聲增強(qiáng)起來(lái)，還要讓人聽(tīng)的舒服、不失真。綜合起來(lái)這三條要求，其實(shí)要在助聽(tīng)器中做到很好的音頻處理，非常難。

為了平衡這些助聽(tīng)器應(yīng)用需求，安森美也沉淀了一系列的專利技術(shù)。據(jù)楊正龍介紹，“功耗上面如果說(shuō)客戶的要求更多，那么所需的算法就更多的話，功耗肯定越來(lái)越高。安森美有兩個(gè)方式：第一個(gè)方式就是說(shuō)提供了非常多高效率的免費(fèi)的算法IP，與Ezairo的產(chǎn)品一起提供給客戶，這樣就可以保證客戶實(shí)際運(yùn)行的算法是算的最優(yōu)的。第二個(gè)就是提供了很多硬件加速模塊，算法不是通過(guò)純軟件去實(shí)現(xiàn)，而是提供了很多固化的加速度核，這樣整體運(yùn)算的效率很高，算法的需求量很低，既減少了時(shí)延，又降低了功耗。

為了降低時(shí)延，提高計(jì)算能力是最直接的方式。而安森美的Ezairo平臺(tái)的算力水平也一直在提升。據(jù)楊正龍介紹，Ezairo平臺(tái)的工藝從之前的130nm到65nm再到現(xiàn)在的22nm一直在不斷微縮，同時(shí)DSP的處理速度也一直在提升，從以前的只有幾十個(gè)MIPS水平，到目前的Ezairo7160的375MIPS的水平，再到現(xiàn)在Ezairo8300已經(jīng)有1000多MIPS的水平。更多的功能需求，需要更復(fù)雜的算法。一方面，會(huì)通過(guò)專門的加速引擎來(lái)加速，另一方面，通過(guò)更高的工藝和內(nèi)核算力提升來(lái)進(jìn)行支持。最終讓患者更容易接受一些新的功能，更容易去發(fā)現(xiàn)助聽(tīng)器的價(jià)值。

更多算法需求帶來(lái)了更多內(nèi)核集成后，體積的控制是個(gè)難題。而安森美具有專門的3D堆疊的技術(shù)，通過(guò)加拿大伯靈頓一個(gè)醫(yī)療級(jí)別的工廠，能夠?qū)崿F(xiàn)不同模塊的集成，從而實(shí)現(xiàn)更小體積更多功能的集成。像最新的Ezairo8300系列，已經(jīng)實(shí)現(xiàn)了6核的功能集成，而Ezairo7100系列也已經(jīng)是4核的功能集成，但整個(gè)方案體積和之前傳統(tǒng)的方案相比并無(wú)二致。

圖：超小體積的Ezairo7160模塊

助聽(tīng)器中DSP技術(shù)未來(lái)：邁向無(wú)線音頻和AI+

不論是傳統(tǒng)助聽(tīng)器還是OTC助聽(tīng)器，都對(duì)于各種參數(shù)有著專門的醫(yī)療級(jí)別規(guī)范要求。而對(duì)于專業(yè)助聽(tīng)器的使用人群而言，聽(tīng)得清、聽(tīng)得舒服是其第一需求。而隨著科技技術(shù)的發(fā)展，在保證這一前提的基礎(chǔ)上，業(yè)界也在探索助聽(tīng)器上的未來(lái)新趨勢(shì)。

首先一個(gè)重要趨勢(shì)是無(wú)線音頻傳輸。據(jù)楊正龍分享，早在大概五六年前，LE Audio還沒(méi)有發(fā)布的時(shí)候，安森美就已經(jīng)以私有協(xié)議的方式，做出了在助聽(tīng)器上實(shí)現(xiàn)藍(lán)牙低功耗無(wú)線音頻傳輸（支持Streaming）的方案。因?yàn)楸藭r(shí)的傳統(tǒng)藍(lán)牙音頻功耗水平太高，并不能夠滿足助聽(tīng)器的場(chǎng)景要求，所以安森美在當(dāng)時(shí)采用了自研的私有協(xié)議，支持地址1mA的功耗水平。但要進(jìn)行這種連接，需要確保音頻設(shè)備中預(yù)先支持了安森美的這套私有協(xié)議的源代碼，或者通過(guò)一個(gè)外接的私有協(xié)議的盒子，再來(lái)向助聽(tīng)器進(jìn)行廣播?？梢哉f(shuō)這在當(dāng)時(shí)是非常前沿的、具有探索意義的研究方向，并且確實(shí)是踏中了助聽(tīng)器無(wú)線音頻傳輸?shù)奈磥?lái)趨勢(shì)。但作為芯片廠商去進(jìn)行這種生態(tài)的推廣，難度頗大，況且是在助聽(tīng)器這樣對(duì)于新增功能并不是那么迫切的聽(tīng)障市場(chǎng)，所以最終并沒(méi)有將這項(xiàng)應(yīng)用推起來(lái)。

但隨著最近幾年LE Audio的推出，助聽(tīng)器的無(wú)線音頻傳輸應(yīng)用將會(huì)慢慢興起。目前安森美的Ezairo7160已經(jīng)在傳統(tǒng)CFX DSP和HEAR核的基礎(chǔ)上，集成了低功耗藍(lán)牙連接模塊——RSL10，以及一個(gè)Cortex-M3的控制內(nèi)核來(lái)進(jìn)行無(wú)線協(xié)議處理。其中RSL10 RSL10 支持藍(lán)牙低功耗技術(shù)和 2.4 GHz 專有協(xié)議，提供業(yè)界最低的深度睡眠和峰值接收功耗，是一種高度靈活的多協(xié)議無(wú)線電模塊。

據(jù)楊正龍分享，目前Ezairo平臺(tái)的無(wú)線方案已全部支持蘋果和安卓?jī)纱笃脚_(tái)的開(kāi)放協(xié)議，分別是MFi（Made for iphone）和谷歌的Asha。

助聽(tīng)器上實(shí)現(xiàn)無(wú)線功能的意義，并不僅僅是在音頻傳輸上，另一個(gè)主要的應(yīng)用是實(shí)現(xiàn)無(wú)線驗(yàn)配，這即方便了驗(yàn)配中心的驗(yàn)配工作，更是極大地方便了用戶的使用。比如用戶覺(jué)得某些聲音太悶、某些聲音太吵、底噪太高等，都可以自己來(lái)進(jìn)行一些個(gè)性化的細(xì)致的調(diào)節(jié)，從而使助聽(tīng)器更適合自己的聽(tīng)損水平和使用環(huán)境。

圖：安森美Ezario7160無(wú)線音頻傳輸demo

除了無(wú)線音頻外，另一個(gè)助聽(tīng)器上的趨勢(shì)是AI+。通過(guò)內(nèi)置專門的NN加速單元，來(lái)實(shí)現(xiàn)本地的算法推理，這一趨勢(shì)正在所有的端側(cè)設(shè)備上推行開(kāi)來(lái)。類似在嵌入式設(shè)備上的nanoEdge tinyML，在Ezairo的平臺(tái)中，添加一個(gè)NN加速器，實(shí)現(xiàn)諸如語(yǔ)音識(shí)別、聲音識(shí)別、AI降噪等功能。

據(jù)楊正龍介紹，Ezairzo83系列相較Ezairo7系列的內(nèi)核增了更多，能力更是翻倍的：內(nèi)存是以前的4倍，運(yùn)算的能力是以前的三倍多，然后在ADC的寬度、動(dòng)態(tài)寬度等都比以前高。但其實(shí)Ezairzo83系列的成本可能會(huì)比Ezairo7160更好一些。因?yàn)镋zairzo83系列面向的是專業(yè)助聽(tīng)器和輔聽(tīng)兩個(gè)市場(chǎng)，因此整體的市場(chǎng)出貨量預(yù)計(jì)會(huì)更大，也就可以將器件成本拉的更低，給到終端客戶更好的成本。

其實(shí)有了AI的功能之后，不僅等于增加了一些語(yǔ)音交互的功能，對(duì)于傳統(tǒng)的音頻算法或許也可以迎來(lái)顛覆。像現(xiàn)在通過(guò)自適應(yīng)的濾波器實(shí)現(xiàn)的降噪算法，未來(lái)或許都可以進(jìn)行迭代，進(jìn)行不斷地人工學(xué)習(xí)后，將更優(yōu)化的庫(kù)在放在助聽(tīng)器上。隨著未來(lái)互聯(lián)功能和計(jì)算功能的融合，手機(jī)個(gè)人助理或許也可以通過(guò)助聽(tīng)器來(lái)與聽(tīng)障人士進(jìn)行交互，幫助人們實(shí)現(xiàn)更多的便捷工作。

國(guó)內(nèi)助聽(tīng)器市場(chǎng)前景廣闊，如何幫助好本地客戶做好開(kāi)發(fā)工作？

上文提到，助聽(tīng)器在國(guó)外的歷史要比國(guó)內(nèi)悠久的多。但中國(guó)助聽(tīng)器市場(chǎng)，正在飛速發(fā)展。從整個(gè)市場(chǎng)規(guī)模來(lái)看，中國(guó)助聽(tīng)器市場(chǎng)潛力巨大。據(jù)調(diào)研數(shù)據(jù)延時(shí)，中國(guó)助聽(tīng)器的年復(fù)合增長(zhǎng)率將近有百分之十幾；從個(gè)別領(lǐng)先的終端廠商的出貨量來(lái)看，每年至少30%的增長(zhǎng)。

而中國(guó)客戶的特點(diǎn)是相對(duì)國(guó)外的幾大家助聽(tīng)器品牌，客戶數(shù)量更多，體量較小，系統(tǒng)級(jí)的開(kāi)發(fā)能力也有一定差距。而同時(shí)可編程DSP的設(shè)計(jì)能力要求較高，像一些傳統(tǒng)的助聽(tīng)器DSP方案（安森美B300系列）為了實(shí)現(xiàn)高效低功耗表現(xiàn)都是采用匯編語(yǔ)言來(lái)編寫代碼，對(duì)于當(dāng)前新生代的工程師而言要求也較高。如何幫助中國(guó)這一批客戶快速成長(zhǎng)起來(lái)，實(shí)現(xiàn)產(chǎn)品快速量產(chǎn)出貨，是安森美在中國(guó)進(jìn)行Ezairo系列產(chǎn)品推廣的關(guān)鍵。

楊正龍表示，如果客戶從0開(kāi)始確實(shí)很難，可能要花幾年的時(shí)間去熟悉開(kāi)發(fā)環(huán)境：因?yàn)椴煌膬?nèi)核所需的開(kāi)發(fā)語(yǔ)言不同，有的可以用c有的用匯編，確實(shí)是有一定的難度的。但是安森美沒(méi)有把這個(gè)工作全部給到客戶和市場(chǎng)，而是提供了幾個(gè)方案。

第一個(gè)方案就是說(shuō)安森美把所有的東西做好了，客戶選擇Ezairo硬件平臺(tái)，就可以使用安森美整套的方案，包括硬件、軟件、固件、算法以及驗(yàn)配程序等等，客戶都可以直接使用。這一整套方案是安森美基于對(duì)市場(chǎng)的全面了解，跟合作伙伴做出來(lái)的一個(gè)完整的研發(fā)方案，基本可以覆蓋市場(chǎng)80~90%的一個(gè)應(yīng)用場(chǎng)景。

圖：安森美完整的驗(yàn)配方案demo

第二個(gè)方案就是針對(duì)剩下的20%或者10%的客戶需求，有些客戶算法能力很強(qiáng)，同時(shí)它的市場(chǎng)有特殊的需求，通用的方案無(wú)法滿足。那么安森美會(huì)把很多接口開(kāi)放出來(lái)給到客戶，讓客戶去做自己算法適配，滿足他自己特別的一個(gè)需求。

結(jié)語(yǔ)

助聽(tīng)器是一個(gè)特殊的垂直市場(chǎng)，對(duì)于功耗、延時(shí)等的超高要求，讓其必須使用DSP才能滿足。在基本的“CFX+HEAR”的架構(gòu)基礎(chǔ)上，才能繼續(xù)去添加更多的模塊，支持更多的復(fù)雜算法。遍歷國(guó)際芯片大廠，也只有安森美一家堅(jiān)持深耕在此領(lǐng)域，致力于持續(xù)不斷地迭代自己的Audiology DSP Systems，為客戶提供軟件、硬件和算法等于一體的全面解決方案。楊正龍表示，未來(lái)Ezairo平臺(tái)將會(huì)繼續(xù)創(chuàng)新，新一代產(chǎn)品的方向，會(huì)是繼續(xù)追求極致功耗，實(shí)現(xiàn)雙向的藍(lán)牙通信，增加更多生命傳感功能等。但楊正龍同時(shí)強(qiáng)調(diào)到，這個(gè)市場(chǎng)很大，安森美并不會(huì)去定義市場(chǎng)走向，而是更多地將平臺(tái)開(kāi)放給客戶，幫助客戶實(shí)現(xiàn)其所需要的功能。

本文受訪者：安森美(onsemi)工業(yè)醫(yī)療智能部門亞太區(qū)高級(jí)營(yíng)銷經(jīng)理 楊正龍