如何抓住智能耳機(jī)的風(fēng)口
據(jù)產(chǎn)業(yè)分析師預(yù)測(cè),2019年蘋(píng)果AirPods出貨量將超過(guò)5000萬(wàn)臺(tái),2021年更是有望破億!這款從發(fā)布被人嘲笑,到后來(lái)成功引領(lǐng)市場(chǎng)的產(chǎn)品,早已成為各家追趕超越的對(duì)象。
耳機(jī)行業(yè)近幾十年來(lái)沒(méi)有發(fā)生重大變革,TWS耳機(jī)的出現(xiàn)讓整個(gè)市場(chǎng)未來(lái)將有數(shù)百億美元的成長(zhǎng)空間。
AirPods已經(jīng)成為蘋(píng)果增長(zhǎng)最快的配件產(chǎn)品,在手機(jī)銷(xiāo)量整體滑坡的現(xiàn)在,每一個(gè)手機(jī)廠商都在找自己的突破點(diǎn),如何重新占領(lǐng)市場(chǎng)先機(jī)成為了尤為重要的關(guān)鍵。
AirPods這種TWS耳機(jī)不僅使音頻市場(chǎng)重獲生機(jī),也成為了蘋(píng)果這樣的手機(jī)廠商的救命稻草,由AirPods引出的:語(yǔ)音交互、骨聲紋識(shí)別支付、加入eSIM獨(dú)立使用等已成為T(mén)WS耳機(jī)下一個(gè)戰(zhàn)場(chǎng)。
TWS耳機(jī)被稱(chēng)之為2019消費(fèi)電子市場(chǎng)最大亮點(diǎn),智能語(yǔ)音識(shí)別的加入將TWS耳機(jī)市場(chǎng)蛋糕持續(xù)擴(kuò)大,更是吸引了五大玩家入局:
運(yùn)營(yíng)商入局:聯(lián)通、移動(dòng),讓耳機(jī)產(chǎn)品獨(dú)立使用成為可能;
互聯(lián)網(wǎng)巨頭搶占入口:亞馬遜、谷歌、微軟、百度;
電商與支付加入:微信、支付寶,骨聲紋識(shí)別、安全支付,由手機(jī)支付到骨聲紋支付的變革。
手機(jī)廠商持續(xù)加碼:蘋(píng)果、華為、小米、三星、索尼、OPPO、榮耀、一加、魅族,均已推出自家多款耳機(jī)產(chǎn)品。
內(nèi)容平臺(tái)緊跟其后:QQ音樂(lè)、網(wǎng)易音樂(lè)、喜馬拉雅FM,為T(mén)WS耳機(jī)提供源源不斷的生命力。
市場(chǎng)很久沒(méi)有這么熱鬧,仿佛回到了智能手機(jī)爆發(fā)初期的繁榮階段,接下來(lái)八仙過(guò)海,各取所需,各顯神通。
上一輪的智能音箱爭(zhēng)奪戰(zhàn)中,我們看到以蘋(píng)果、谷歌、亞馬遜、百度、阿里、騰訊、小米等為代表的先頭部隊(duì),這些巨頭的加入,讓中小企業(yè)只能選擇站隊(duì),投靠到各自的陣營(yíng),以獲取內(nèi)容、流量、補(bǔ)貼等賴(lài)以生存的資源。
通過(guò)我愛(ài)音頻網(wǎng)分析,智能耳機(jī)的風(fēng)口比音箱將要來(lái)得更猛,更觸手可及,今天我們一起來(lái)探討如何抓住智能耳機(jī)的風(fēng)口。
一、TWS耳機(jī)飛速發(fā)展,蘋(píng)果靠Airpods領(lǐng)跑市場(chǎng)
IDC最近發(fā)布的2019年第一季度全球智能手機(jī)市場(chǎng)的調(diào)研報(bào)告。數(shù)據(jù)顯示,全球智能手機(jī)出貨量為 3.108 億臺(tái),同比下降 6.6%。其中排在全球出貨量前六位的廠商也大部分處于同比下降的狀態(tài),Apple甚至下降超過(guò)了 30%。
與手機(jī)市場(chǎng)的遇冷相比,TWS藍(lán)牙耳機(jī)則是以一種不可思議的速度在發(fā)展。根據(jù)Counterpoint的數(shù)據(jù)顯示,在2018年第四季度中,AirPods的出貨量占到了市場(chǎng)的60%,達(dá)1250萬(wàn)臺(tái)。
據(jù)Above Avalon報(bào)道,最近三年假日AirPods在谷歌上的峰值搜索興趣,索引為100(代表最大搜索興趣)。2016年的峰值為10,2017年為20,2018年為100,同比增長(zhǎng)了500%,這樣的增長(zhǎng)速度實(shí)在令人吃驚。
由此可見(jiàn)TWS耳機(jī)的市場(chǎng)容量的巨大,音頻和手機(jī)廠商也都紛紛加入這個(gè)領(lǐng)域,勢(shì)必也要從這塊巨大的蛋糕上狠狠切下一塊。
而在2019年的3月20日,Apple推出全新的TWS真無(wú)線藍(lán)牙耳機(jī)——Airpods2,這次升級(jí),主控芯片換成了全新的H1,而功能上除了支持了無(wú)線充電之外,還有一個(gè)非常重要的一點(diǎn),那就是語(yǔ)音喚醒。
二、TWS耳機(jī)語(yǔ)音喚醒方案實(shí)現(xiàn)的細(xì)節(jié)
Airpods的成功源于其優(yōu)質(zhì)的體驗(yàn),而Airpods2代此次升級(jí)了語(yǔ)音喚醒,語(yǔ)音喚醒是智能語(yǔ)音非常重要的一環(huán),手機(jī)上面早就大量支持比如iPhone的Hey Siri、小米9的小愛(ài)同學(xué)、samsung galaxy S10的Hi Bixby等等。
而在耳機(jī)端,大量的耳機(jī)依然使用的是觸摸或者按鍵喚醒的方式來(lái)激活語(yǔ)音助手。物理觸摸或者點(diǎn)按的方式與語(yǔ)音激活,兩者體驗(yàn)的差距當(dāng)然是不言而喻的。
Apple率先支持了語(yǔ)音喚醒,那么其他廠商是否能夠跟上,又要如何實(shí)現(xiàn)。又有哪些技術(shù)細(xì)節(jié)需要去考量?
首先TWS 耳機(jī)本地喚醒詞的應(yīng)用由語(yǔ)音辨識(shí)及誤喚醒處理 2 個(gè)部份組成:
1、喚醒詞語(yǔ)音辯識(shí)(本地語(yǔ)音命令亦同)
喚醒詞辯識(shí)需由前端信號(hào)處理把用戶聲音與背景聲音的信噪比拉高以利在不同應(yīng)用場(chǎng)景讓喚醒詞識(shí)得到最高喚醒率,我們列出從麥克風(fēng)采集到用戶的聲音信息數(shù)據(jù)開(kāi)始,至喚醒詞識(shí)別結(jié)束。
依序完成喚醒詞識(shí)別所需要的算法排列如下:
MIC→(LPSD 或 VAD)→(BF)→(NS 或 NR)→(KWD)
算法名稱(chēng)及參考供應(yīng)商
LPSD 或 VAD, LPSD(Low Power Sound Detection), VAD(Voice AcTIve DetecTIon),參考供應(yīng)商 DSPC,Seneory;
BF, BF(Beam Forming) 參考供應(yīng)商 DSPC;
NS 或 NR, NS(Noise Suppression, Noise ReducTIon) 參考供應(yīng)商 DSPC;
KWD, KWD(Key Word DetecTIon) 參考供應(yīng)商 Sensory, AI Speech, Nuance, Cyberon。
眼下市場(chǎng)上真正能提供出足夠算力,使用單一藍(lán)牙芯片就能集成上述算法并低功耗做到本地喚醒詞功能的有高通的:QCC512x 及 QCC302x。
絡(luò)達(dá)、瑞昱、恒玄等芯片產(chǎn)品建議搭配QuickLogic S3、Ambiq Apollo2、 Apollo3 或樓氏 IA-610、IA-611 智能麥克風(fēng)芯片以達(dá)到在高算力低功耗要求下,滿足本地喚醒詞的功能。
所有的算法或芯片都必須以合法的方式取得使用權(quán)力及各種必要技術(shù)支持,這些供應(yīng)商內(nèi) Quicklogic 的 EOS S3 是最早與宇恒互動(dòng) OVVP 算法做全面系統(tǒng)整合應(yīng)用于實(shí)際客戶產(chǎn)品上的,S3 芯片內(nèi)部還帶有 891 個(gè)可編程的Logic Cell,設(shè)計(jì)非常獨(dú)特,可以滿足特殊硬件接口的需要。
2、喚醒詞或語(yǔ)音命令誤喚醒誤觸發(fā)處理
誤喚醒或誤觸發(fā)的定義:
TWS 耳機(jī)用戶,非用戶本人說(shuō)出喚醒詞或語(yǔ)音命令后,語(yǔ)音助手不回應(yīng)或語(yǔ)音命令不動(dòng)作,自己說(shuō)出喚醒詞后,卻能喚醒或運(yùn)行戴耳機(jī)用戶的語(yǔ)音助手或語(yǔ)音命令。
市場(chǎng)上幾個(gè)不同方案的說(shuō)明:
2-1、基本處理
一般在喚醒詞算法群內(nèi),BF 可以起到一定減低誤喚醒率的作用,但與聲源的方向有關(guān),在雙麥克風(fēng)的間隔距離夠遠(yuǎn),產(chǎn)品結(jié)構(gòu)聲學(xué)架構(gòu)調(diào)試恰當(dāng)狀況下 DSPC 的 BF 算法可以做到3db~6db。
這部份細(xì)節(jié)可以請(qǐng)教 DSPC 代理商聆感智能科技,他們有很專(zhuān)業(yè)的聲學(xué)專(zhuān)家及實(shí)驗(yàn)室可以給需要的 TWS 耳機(jī)業(yè)者充分的聲學(xué)相關(guān)設(shè)計(jì)服務(wù)。
2-2、使用 vpu 骨傳導(dǎo)傳感器
參考HUAWEI華為 FreeBuds2 Pro 應(yīng)用 vpu(Voice Peak Up)。
vpu 嚴(yán)格說(shuō)起來(lái)是使用一種 壓電材料技術(shù)(因無(wú)法從datasheet內(nèi)得知相關(guān)信息,只能從類(lèi)似產(chǎn)品推論)的單軸加速度傳感器(Voice Pick Up Sensor is a high performance accelerometer 引自Sonion Datasheet Description),主要是用來(lái)感測(cè)聲帶運(yùn)動(dòng)使用,是Sonion(聲揚(yáng))公司的產(chǎn)品。
以-25dbv/g 這條輸出強(qiáng)度線來(lái)看,最大帶寬可以從 100hz 到 8khz 完整的含蓋了人的聲譜范圍,整段頻譜的響應(yīng)并不平坦(特別是 3khz~5khz 剛好在人聲的高頻段),需要后段用加了高頻負(fù)反饋的放大器整平。
這個(gè)傳感器還有個(gè)優(yōu)點(diǎn)就是低功耗(VDD=1.8V 時(shí)只要 55ua 電流),由于輸出的是模擬信號(hào),同時(shí)電平不足,拿來(lái)做 VAD 時(shí)若 A/D 采樣的分辨率夠,有機(jī)會(huì)可以不通過(guò)運(yùn)放先做個(gè) VAD 讓傳感器 Always On 感測(cè)到人聲后才打開(kāi)麥克風(fēng),這樣可以達(dá)到降功耗的效果,但因 vpu 是模擬輸出需要搭配芯片內(nèi)的 A/D 轉(zhuǎn)換器及算法,這還得看芯片的功耗換麥克風(fēng)的功耗是不是劃的來(lái)。
這類(lèi)單軸骨傳導(dǎo)傳加速度感器在產(chǎn)品結(jié)構(gòu)內(nèi)的放置點(diǎn),需要考慮用戶使用過(guò)程中松脫后導(dǎo)致 vpu 輸出聲信息強(qiáng)度滑落的補(bǔ)償問(wèn)題。
HUAWEI華為 FreeBuds2 pro需要支持骨聲紋支付,所以要較好的保證取到能做聲紋辯識(shí)用的聲音,在 vpu 保證不了足夠的動(dòng)態(tài)范圍條件下,聲帶寬范圍的放大器是免不了的,這樣在功耗,器件數(shù)量及組裝工藝,測(cè)試難度上都會(huì)有相當(dāng)?shù)脑黾印?/p>
加了高頻負(fù)反饋放大器后拉升了低頻加大了動(dòng)態(tài)范圍,同時(shí)也把人體運(yùn)動(dòng)低頻信號(hào)又給拉了上來(lái),vpu 自帶天然的高通濾波效果又變差了,后面還又要加上高通濾波算法,過(guò)濾掉因人體運(yùn)動(dòng)引起傳感器機(jī)械瞬態(tài)變化引發(fā)的多次諧波干擾,另外在通話,音樂(lè)應(yīng)用場(chǎng)景下喇叭振動(dòng)的串?dāng)_問(wèn)題還得要處理解決。
所以從我愛(ài)音頻網(wǎng)拆解的HUAWEI華為 FreeBuds2 pro 板上證實(shí)確實(shí)有運(yùn)放,并且還加了個(gè) DA14195 來(lái)處理各種算法及 A/D 的接口,這款產(chǎn)品使用喚醒詞的感度大約 76db(在 OVVP 感度規(guī)格區(qū)間內(nèi))。
而喚醒詞誤喚醒處理可以達(dá)到19db~22db(在 OVVP 的語(yǔ)音強(qiáng)隔離護(hù)罩規(guī)格區(qū)間內(nèi))也是挺不錯(cuò)的,使用加速度骨傳導(dǎo)傳感器感測(cè)聲帶振動(dòng)與只使用麥克風(fēng)感測(cè)用戶說(shuō)話聲音的差異是,在說(shuō)喚醒詞或語(yǔ)音命令時(shí)肯定,聲量要大一些(差約 7db 左右),這大廠設(shè)計(jì)出來(lái)的產(chǎn)品還是很有代表性。
另外這個(gè)產(chǎn)品也有幾條本地語(yǔ)音命令,科技感十足外還充分發(fā)揮了 vpu 的優(yōu)勢(shì),跟蘋(píng)果不同的是用戶說(shuō)話要稍微“大聲一點(diǎn)”,但誤喚醒處理又比蘋(píng)果強(qiáng)很多,且沒(méi)有聲源方向限制,任何方向都可以。
但使用 vpu來(lái)感測(cè)用戶說(shuō)話聲音,輔助完成安全度需求較高的支付功能,不知道無(wú)“清音”的語(yǔ)音聲譜結(jié)構(gòu)缺陷是不是比較嚴(yán)重的影響了用戶體驗(yàn)。
使用骨傳導(dǎo)傳感器,未做清音補(bǔ)償狀況下會(huì)讓?zhuān)琑ecode 聽(tīng)成 code,Strange 聽(tīng)成 change,HUAWEI 聽(tīng)成 AWEI,,河聽(tīng)成了鵝,,福聽(tīng)成了無(wú),錢(qián)聽(tīng)成了言。
聲結(jié)構(gòu)的改變會(huì)讓人工智能語(yǔ)音識(shí)別產(chǎn)生嚴(yán)重錯(cuò)誤,知乎上看到很多關(guān)于這方面的投訴,用戶很刻意的大聲說(shuō)都沒(méi)辦法完成支付或聲紋學(xué)習(xí),似乎感覺(jué)這個(gè)問(wèn)題解決的并不好,當(dāng)然也可能 Freebuds2 pro 內(nèi)的字詞識(shí)別引擎處理的不好或某種不良所導(dǎo)致。
從產(chǎn)業(yè)角度看 HUAWEI 起了個(gè)好頭領(lǐng)先蘋(píng)果超過(guò)數(shù)月,將 TWS 耳機(jī)智能化腳步推快了幾步,并在耳機(jī)產(chǎn)品數(shù)十年關(guān)注音質(zhì)好壞,噪聲水平之外,注入了智能語(yǔ)音應(yīng)用的亮點(diǎn)與活水,教育了群眾,活絡(luò)了產(chǎn)業(yè),讓產(chǎn)業(yè)有了再擴(kuò)張及引動(dòng)新浪潮的可能。
2-3、使用 MEMS 加速度計(jì)骨傳導(dǎo)傳感器(上行降噪)
Apple Airpods,使用多重手段(LPSD、BF、骨導(dǎo)降噪)在背了“不改變用戶使用習(xí)慣”的大鍋條件下,喚醒詞誤喚醒處里約有 7db~9db 的效果(用戶背后 0.5 米環(huán)境噪聲 45db 與僅做 BF及 NS 處里的喚醒詞開(kāi)發(fā)板對(duì)比)。
AirPods支持喚醒詞(本地,云端或本地+手機(jī)),所有的語(yǔ)音命令都在云端,在云端的優(yōu)點(diǎn)是詞匯的彈性無(wú)限,只要語(yǔ)義近似全都能用,識(shí)別精度更高,抗噪能力較強(qiáng),占用本地芯片的資源較少,缺點(diǎn)是無(wú)法聯(lián)網(wǎng)或聯(lián)網(wǎng)品質(zhì)不好時(shí)使用體驗(yàn)急速劣化甚至無(wú)法使用,響應(yīng)速度較慢。
市場(chǎng)上能用于上行降噪的加速度傳感器除了使用壓電材料的 vpu(模擬輸出)外,ST 意法半導(dǎo)體使用 MEMS 技術(shù)的LIS25BA(TDM 接口)是市場(chǎng)上唯一的產(chǎn)品,LIS25BA 是一個(gè)全數(shù)字產(chǎn)品,內(nèi)含 A/D 及 TDM 接口,相關(guān)信息可以向 ST意法半導(dǎo)體索取。
雖然市場(chǎng)上有傳感器可用,但受限于權(quán)利保護(hù)覆蓋面強(qiáng)大嚴(yán)謹(jǐn)?shù)奶O(píng)果專(zhuān)利及擔(dān)負(fù)改變上行聲音數(shù)據(jù)聲結(jié)構(gòu)所造成風(fēng)險(xiǎn)的技術(shù)難度,眼下市場(chǎng)上還沒(méi)有可流通的專(zhuān)用降噪算法,DSPC,Sensory,高通這些知名算法大拿都還沒(méi)有明顯動(dòng)靜,但一些國(guó)內(nèi) MEMS麥克風(fēng)的廠家及一些國(guó)內(nèi)算法公司已隱隱傳出動(dòng)靜。
下面將對(duì)骨傳導(dǎo)上行降噪算法的難度提出一些看法,因技術(shù)能力與知識(shí)范圍有限,謬誤之處還請(qǐng)包涵指教。這里簡(jiǎn)單的談下骨傳導(dǎo)與麥克風(fēng)融合的上行降噪技術(shù)。
在進(jìn)入主題前首先為大家介紹一篇來(lái)自肖新華先生在 2009 年提出的研究生畢業(yè)論文,讓大家對(duì)后面提及的”TWS耳機(jī)語(yǔ)音算法技術(shù)難度”有個(gè)衡量基礎(chǔ):
《國(guó)防科學(xué)技術(shù)大學(xué)研究生院工程碩士學(xué)位論文:面向骨傳導(dǎo)語(yǔ)音消噪算法及硬件實(shí)現(xiàn)技術(shù)研究》
資料來(lái)源、論文作者:肖新華
這是一篇以非負(fù)稀疏編碼 NNSC(Non-Negative Sparse Coding)為消噪核心主體并帶上一個(gè)使用AMDF (Average Magnitude Difference Function)技術(shù)的 VAD 算法配合消除風(fēng)噪,槍炮聲,摩擦聲。
這并非蘋(píng)果公司使用的降噪技術(shù),但可以讓大家對(duì)骨傳導(dǎo)降噪或 VAD 做個(gè)初步了解,這篇論文以人為可懂度衡量對(duì)象,用骨傳導(dǎo)傳感器感測(cè)的聲帶振動(dòng)為主聲源,一個(gè)傳統(tǒng)麥克風(fēng)做噪音拾取噪聲源,通過(guò)算法完成降噪處里。
但現(xiàn)在可懂度的衡量對(duì)象除了人還有機(jī)器(語(yǔ)音識(shí)別算法),而機(jī)器對(duì)于可懂度的要求要比人高很多,因?yàn)闄C(jī)器對(duì)語(yǔ)音識(shí)別的整體智能還遠(yuǎn)不如人。
這里整理了一張對(duì)照表,以蘋(píng)果的 TWS 耳機(jī)做為參照標(biāo)準(zhǔn),比較使用 2 種完全不同性質(zhì)的聲傳感器所感測(cè)到的聲音信息數(shù)據(jù)在處理完降噪問(wèn)題后要等于 1種聲傳感器所感測(cè)到的聲音信息數(shù)據(jù),將可能將要面臨到多少問(wèn)題及挑戰(zhàn)。
下面依據(jù)上表把問(wèn)題做文字條列敘述式的整理:
1)雙麥上行降噪算法技術(shù)的終極目標(biāo):只留下用戶說(shuō)話的聲音,最大程度消去或壓制,非用戶
本人聲帶運(yùn)動(dòng)所發(fā)出的所有聲音,但必須讓降噪處理后的上行聲音信息數(shù)據(jù)與使用傳統(tǒng)麥克
風(fēng)拾取到的用戶原始說(shuō)話聲音信息數(shù)據(jù)完全相等。
2)算法使用了加速度骨傳導(dǎo)傳感,改變了過(guò)去由空氣介質(zhì)傳導(dǎo)聲能量,推動(dòng)某種材料做成的
膜體轉(zhuǎn)換成電能,改成了軟骨肌肉皮膚介質(zhì)來(lái)傳導(dǎo)聲音,但算法仍用到 2 個(gè)使用空氣介質(zhì)傳導(dǎo)
的麥克風(fēng)來(lái)補(bǔ)償加速度骨傳導(dǎo)傳感器感測(cè)不到清音的缺陷,空氣傳導(dǎo)穩(wěn)定度高變數(shù)少,并經(jīng)多
年應(yīng)用對(duì)其了解較為透徹,而通過(guò)軟骨肌肉皮膚介質(zhì)來(lái)傳導(dǎo)聲音,除了不穩(wěn)定變數(shù)多另外相關(guān)
應(yīng)用還在積壘過(guò)程,全球積壘最多應(yīng)用經(jīng)驗(yàn)的非蘋(píng)果公司莫屬。
3)下面我們列了幾個(gè)算法需要完成的等式:
-1、加速度骨傳導(dǎo)傳感器+雙麥克風(fēng)=雙麥克風(fēng)
-2、(軟骨肌肉皮膚汗液,油漬,粉塵介質(zhì)傳遞變數(shù))+空氣溫濕度介質(zhì)傳遞變數(shù)=空氣溫濕
度介質(zhì)傳遞變數(shù)
-3、單獨(dú)濁音+(濁音+清音)=濁音+清音
-4、產(chǎn)品結(jié)構(gòu)及耳廓結(jié)構(gòu)嚴(yán)重影響+產(chǎn)品結(jié)構(gòu)影響=產(chǎn)品結(jié)構(gòu)影響
-5、人體運(yùn)動(dòng)嚴(yán)重影響+人體運(yùn)動(dòng)不影響=人體運(yùn)動(dòng)不影響
-6、人為算法融合拼接補(bǔ)償 2 種不同材料,不同傳導(dǎo)介質(zhì)結(jié)構(gòu),不同響應(yīng)相位嚴(yán)遲,低頻調(diào)
制=嚴(yán)絲合縫混然一體
4)對(duì)于麥克風(fēng)上行信息數(shù)據(jù)來(lái)說(shuō),這些是信息數(shù)據(jù)是用來(lái)聽(tīng)的,可存儲(chǔ)的,可傳遞信息的,是具有廣闊延申再應(yīng)用的聲音信息數(shù)據(jù),并且需滿足現(xiàn)存于市場(chǎng)上千百個(gè)聲音應(yīng)用軟硬件的需求。
項(xiàng)目決策者必需慎之又慎,規(guī)劃項(xiàng)目時(shí)慢 2 步?jīng)Q定,然后系統(tǒng)性的觀察謹(jǐn)慎的測(cè)試為上。
蘋(píng)果公司在 2012 年以前啟動(dòng)研發(fā)并于 2012 年 9 月 28 日提交 13/631,716 號(hào)專(zhuān)利,2014 年 4 月 3日提出WO 2014/051969 A1 專(zhuān)利,2016 年 9 月 8 日 Airpods 上市,2019 年 3 月 20 日 Airpods二代上市。
這么大的龍頭企業(yè)漫漫 8年的歲月積壘,別小看這個(gè)技術(shù),更何況現(xiàn)在國(guó)內(nèi)市場(chǎng)上這些可能的算法供應(yīng)者,都不可能具備蘋(píng)果公司這樣長(zhǎng)期的積累,要實(shí)現(xiàn)彎道超車(chē)還有待觀察。
從這里可以合理推測(cè),蘋(píng)果公司在 W1 或 H1 芯片內(nèi)這個(gè)上行降噪技術(shù)可能是用到最大算力的程序,其中 H1 芯片估計(jì)還保留了一定的算力資源給未來(lái)做下行環(huán)境降噪用。
現(xiàn)在市場(chǎng)上的TWS 耳機(jī)藍(lán)牙芯片產(chǎn)品,在低功耗的要求下,需要滿足這個(gè)算法的算力需求,高通最高階 QCC512x 的 DSP在次功耗的限制下,要實(shí)現(xiàn)也需要持續(xù)努力。
5)加速度骨傳導(dǎo)傳感器加入各種了機(jī)械瞬態(tài)變化及環(huán)境應(yīng)力老化的物理特征,很多聲應(yīng)用信息技術(shù)與算法模型,需要更系統(tǒng)性的重新摸索探究,而其中因補(bǔ)償清音及拼接融合2個(gè)不同傳感器感測(cè)到的聲音信息數(shù)據(jù),導(dǎo)致聲諧波組成的結(jié)構(gòu)變化,對(duì)現(xiàn)存云端語(yǔ)音語(yǔ)義識(shí)別算法的可懂性能造成多大影響?需要仔細(xì)測(cè)試評(píng)估,人耳不易聽(tīng)出來(lái)的變化但對(duì)語(yǔ)音識(shí)別算法來(lái)說(shuō)確可能致命。
6)在 Airpods 1代上市的過(guò)去幾年裏 DSPC,Sensory 這些大咖算法供應(yīng)商并沒(méi)有下一步動(dòng)作。這是一個(gè)有很大算法需求的高報(bào)酬市場(chǎng),這些供應(yīng)商的保持沉默,這背后原因值得去細(xì)思探討。
7)算法需要解決相位失真,總諧波失真壓制,信噪比保證,非用戶語(yǔ)音的噪聲判斷轉(zhuǎn)換壓制比(純濁音,純清音),算法延遲,骨導(dǎo)聲與麥克風(fēng)聲在不同情緒,音量條件下融合自適應(yīng)或權(quán)重變化曲線,人體運(yùn)動(dòng)信息低頻調(diào)制及多次諧波抑制,清濁音互換響應(yīng)狀態(tài),降噪處理后的聲諧波結(jié)構(gòu)變化,耳機(jī)松脫后音量頻響包絡(luò)補(bǔ)償。
8)算法要解決加速度骨傳導(dǎo)傳感器感測(cè)到的濁音聲帶運(yùn)動(dòng)與雙麥克風(fēng)在不同情緒,音量條件下所感測(cè)到的濁音+清音 2 個(gè)不同聲音間的實(shí)時(shí)同步,重疊,拼接,融合處里所產(chǎn)生的諧波失真修補(bǔ),平滑,濾波或壓制。
9)上行降噪最重要的應(yīng)用場(chǎng)景就是在通話場(chǎng)景,使用骨傳導(dǎo)與麥克風(fēng)融合降噪技術(shù)在大音量通話場(chǎng)景下就像把擴(kuò)音器的麥克風(fēng)貼在喇叭上,相移量足不足夠可能引起嚴(yán)重的串?dāng)_,所以不能只盯在降噪上。
對(duì)于器件密度極高的 TWS 耳機(jī)來(lái)說(shuō),使用骨傳導(dǎo)傳感器來(lái)感測(cè)完整人聲的應(yīng)用,被自身加噪才是最大問(wèn)題,同時(shí)還需要用麥克風(fēng)聲信息數(shù)據(jù)來(lái)補(bǔ)償清音的聲音缺陷信息數(shù)據(jù)。
在通話場(chǎng)景時(shí)關(guān)掉降噪算法或降低融合權(quán)重,做個(gè)偽骨傳導(dǎo)降噪或者用戶能拿到廠家給的有蘋(píng)果50%降噪效果功能的算法產(chǎn)品,卻需承擔(dān) 100%的侵權(quán)風(fēng)險(xiǎn)可能!
喇叭造成的串?dāng)_圖
10)為穩(wěn)定的取得最完整的用戶聲帶運(yùn)動(dòng)信息數(shù)據(jù),如何最佳化設(shè)計(jì)耳機(jī)結(jié)構(gòu),找尋加速度骨傳導(dǎo)傳感器所在的位置及適當(dāng)使用導(dǎo)聲材料,單軸的 vpu在位置,導(dǎo)聲材料,產(chǎn)品結(jié)構(gòu),運(yùn)動(dòng)松脫,耳廓結(jié)構(gòu),生產(chǎn)工藝問(wèn)題上影響遠(yuǎn)大于 3 軸的 LIS25BA,這是所以蘋(píng)果用了 3 軸加速度計(jì)的可能原因。
11)利用不同人發(fā)出不同音量大小的/ s /,/ sh /,/ f /,/ he /……等純清音,單由雙麥克風(fēng)檢拾出來(lái)的聲音,對(duì)比融合骨傳導(dǎo)聲音信息及麥克風(fēng)聲音信息降噪算法后的聲音,驗(yàn)證融合算法自適應(yīng)權(quán)重調(diào)整的處理效果,這里是一個(gè)兩難的選擇,因?yàn)榍逡籼幚淼脑胶媒翟胄Ч鸵蛘?,降噪效果越好清音就越?tīng)不清楚。
若因而導(dǎo)致喚醒詞,語(yǔ)音命令或云端語(yǔ)音辯識(shí)服務(wù)器,手機(jī)語(yǔ)音輸入法,翻譯,語(yǔ)音轉(zhuǎn)文字 APP 的辯識(shí)效果打了大折扣,在解決這個(gè)問(wèn)題前,去使用到Amazon,Google, Microsoft,百度,阿里,騰訊,科大訊飛語(yǔ)音助手云端語(yǔ)音辯識(shí)的產(chǎn)品就要面臨比較大的風(fēng)險(xiǎn)。
骨傳導(dǎo)上行降噪在形成實(shí)際產(chǎn)品前有很多細(xì)微的研發(fā)生產(chǎn)測(cè)試支節(jié)參數(shù)需要仔細(xì)琢磨調(diào)試,耗時(shí)極長(zhǎng),大家可以從 iFixit 拆解 Airpods 從其內(nèi)大量使用黏著劑固定,就能看出為了滿足測(cè)試和維持性能指標(biāo),其組裝工藝的巨大難度,一個(gè)帶骨傳導(dǎo)上行降噪的產(chǎn)品,在相關(guān)技術(shù)確定成熟了的條件下,從外觀規(guī)劃開(kāi)始到出貨花個(gè) 1 年估計(jì)算快的了,或許遠(yuǎn)遠(yuǎn)不夠。
2-4、使用 ST LIS2DW12(SPI 接口)加速度計(jì)傳感器+OVVP 算法(骨聲紋用戶說(shuō)話識(shí)別)
傳感器選型:OVVP 算法因?yàn)閷?duì)噪聲密度,分辨率,帶寬,ODR 及傳感器內(nèi)部高低通濾波器有一定的限制及要求,眼下需指定搭配性?xún)r(jià)比最高的 ST LIS2DW12 傳感器。
OVVP 算法與手機(jī)聲紋識(shí)別比較說(shuō)明:
這是我們客戶曾經(jīng)提過(guò)的一個(gè)代表性的問(wèn)題,使用貴司的 OVVP 算法看起來(lái)跟使用手機(jī) 上的聲紋識(shí)別效果類(lèi)似,為何還要多此一舉呢,下面我們做個(gè)對(duì)比 :
1)聲紋識(shí)別需要針對(duì)特定字詞做學(xué)習(xí)訓(xùn)練 OVVP 不用 ;
2)聲紋識(shí)別只能對(duì)用戶訓(xùn)練過(guò)的字詞做局部保護(hù),OVVP 則是對(duì)每個(gè)字詞做全局性保護(hù),
3)聲紋識(shí)別的安全級(jí)別遠(yuǎn)高于 OVVP;
4)聲紋識(shí)別易受用戶環(huán)境,情緒,聲啞病痛影響,OVVP 不會(huì);
5)聲紋識(shí)別只能對(duì)用戶訓(xùn)練過(guò)的字詞產(chǎn)生語(yǔ)音強(qiáng)隔離效果,OVVP 則對(duì)每個(gè)字詞都能強(qiáng)隔離;
6)OVVP 算法是使用用戶既有的加速度傳感器與聲紋識(shí)別一樣不需外加硬件成本;
7)OVVP 算法可同時(shí)并存雙擊,計(jì)步,心率……等算法,聲紋識(shí)別則無(wú)關(guān);
8)聲紋識(shí)別沒(méi)有伴聲記號(hào),OVVP 的伴聲記號(hào)可以用來(lái)做 2 次研發(fā)延展應(yīng)用;
利用伴聲記號(hào)與手機(jī)語(yǔ)音應(yīng)用APP,強(qiáng)聯(lián)結(jié)提升用戶體驗(yàn):
伴聲記號(hào)是經(jīng)由加速度傳感器感測(cè)到用戶說(shuō)話時(shí)的聲帶運(yùn)動(dòng),通過(guò) OVVP 算法處理后,隨著用戶說(shuō)話的字詞產(chǎn)生的信息數(shù)據(jù),最大的特征是只有戴耳機(jī)的用戶“說(shuō)話的時(shí)候”才會(huì)產(chǎn)生這個(gè)信息,戴耳機(jī)用戶旁邊的人說(shuō)話聲音小于語(yǔ)音強(qiáng)隔離護(hù)罩時(shí),是無(wú)法產(chǎn)生這個(gè)信息數(shù)據(jù)的,我們客戶產(chǎn)品語(yǔ)音強(qiáng)隔離護(hù)罩,能做到 50cm 100db 的程度。
伴聲記號(hào)用法:
伴聲記號(hào)(下圖),是與麥克風(fēng)聲音數(shù)據(jù)一同通過(guò)藍(lán)牙傳送到手機(jī)端,通過(guò) 2 者同步后相互參照,可以知道用戶何時(shí)說(shuō)話及說(shuō)了什么話。
翻譯軟件很多人用過(guò),特別是谷歌翻譯,相當(dāng)好用, 翻譯軟件選擇好翻譯的語(yǔ)種后,說(shuō)話前要先按下屏幕上的麥克風(fēng)按鍵,然后說(shuō)一句話,說(shuō)完后停下等待翻成另一個(gè)語(yǔ)言,然后從手機(jī)喇叭播出,這個(gè)按下屏幕上的麥克風(fēng)按鍵可以用伴聲記號(hào)取代。
只要用戶說(shuō)話就自動(dòng)壓下屏幕上的麥克風(fēng)按鍵,停止說(shuō)話就翻譯成另一個(gè)語(yǔ)言,通過(guò)喇叭播放出來(lái),不用去按麥克風(fēng)按鍵的翻譯軟件是不是更自然方便。
而帶著伴聲記號(hào)的用戶說(shuō)話聲可以讓語(yǔ)音辯識(shí)算法,除了肯定是近場(chǎng)拾取到用戶自己說(shuō)話的聲音之外,快速得到聲音的起點(diǎn),停點(diǎn)這 3 個(gè)重要信息可以有效優(yōu)化語(yǔ)音識(shí)別算法的應(yīng)用體驗(yàn)。
這類(lèi)語(yǔ)音應(yīng)用軟件除了翻譯軟件外還有很多,如,微信語(yǔ)音短信息,錄音機(jī),語(yǔ)音輸入法,語(yǔ)音助手,語(yǔ)言學(xué)習(xí),手機(jī)駕駛模式,語(yǔ)音轉(zhuǎn)文字……等。
而與伴聲記號(hào)同時(shí)存在的聲音強(qiáng)隔離護(hù)罩,更是讓用戶在多人高密度及較吵雜環(huán)境,語(yǔ)音識(shí)別算法不用兼顧遠(yuǎn)場(chǎng)拾音問(wèn)題,可以得到相互最低影響的效果。當(dāng)然若能再有骨傳導(dǎo)上行降噪能力,肯定是美事一樁,完美的不要不要的了。
伴聲記號(hào)可以通過(guò)藍(lán)牙送到手機(jī)端,搭配麥克風(fēng)信息數(shù)據(jù),用在語(yǔ)音助手,自動(dòng)錄音,自動(dòng)翻譯,自動(dòng)發(fā)送微信語(yǔ)音信息,語(yǔ)音輸入法,駕駛模式,游戲……等各類(lèi)語(yǔ)音相關(guān)應(yīng)用。
OVVP 應(yīng)用到的相關(guān)技術(shù):
OVVP(Own Voice Vibration Peak-up)技術(shù)在應(yīng)用上尊循一個(gè)最大的原則,就是不改變?nèi)魏卧械穆曇籼幚砺窂缴系男畔?shù)據(jù)參數(shù)結(jié)構(gòu),因?yàn)檫@些是多年積累下來(lái)的經(jīng)驗(yàn)與技術(shù)結(jié)晶,任何的改動(dòng)都有機(jī)會(huì)引發(fā)不可收拾的風(fēng)險(xiǎn),碰觸到眾多人的利益,所以我們另辟一個(gè)新路徑以輔助性角色為客戶的 TWS 耳機(jī)在人工智能語(yǔ)音應(yīng)用區(qū)塊,以最完整專(zhuān)利配套零風(fēng)險(xiǎn)的為客戶創(chuàng)造價(jià)值。
下方是在 TWS 耳機(jī)內(nèi) OVVP 的運(yùn)作框架圖:
OVVP 算法技術(shù)細(xì)節(jié)簡(jiǎn)述
1)算法涉及卡爾曼濾波,FFT 極窄帶聲譜面積分割計(jì)算,曲線擬合,為了不驚動(dòng)藍(lán)牙芯片原廠能讓算法直接用于藍(lán)牙芯片應(yīng)用層。通過(guò)泛化,降維,查表,不斷優(yōu)化簡(jiǎn)省整體延遲時(shí)間,使用內(nèi)存資源,功耗及算力,從算法做出功能到給客戶做測(cè)試, 1年多的時(shí)間才逐漸成熟,更別說(shuō)骨傳導(dǎo)上行降噪了。
2)加速度傳感器感測(cè)到 感測(cè)到的X,Y,Z三軸聲帶運(yùn)動(dòng)信息數(shù)據(jù),亦涉及X,Y,Z 三軸信息亦涉及互相關(guān)及歸一化。
3)在最少影響極窄帶區(qū)間頻響的條件下,如何有效的將加速度傳感器感測(cè)到的聲帶運(yùn)動(dòng)信息數(shù)據(jù)與用戶自體運(yùn)動(dòng)所帶起的多次諧波及喇叭串?dāng)_間進(jìn)行分辨與壓制。
三、語(yǔ)音算法各家公司專(zhuān)利保護(hù)重點(diǎn)分析
蘋(píng)果專(zhuān)利的完整程度及保護(hù)范圍級(jí)為完美, WO2014051969A1,201380046944.6 這2個(gè)專(zhuān)利把使用加速度傳感器本地喚醒詞與上行降噪應(yīng)用保護(hù)的滴水不漏,從帶算法芯片,方案,模塊,產(chǎn)品到銷(xiāo)售整個(gè)鏈條都被包含進(jìn)去。
知名上市公司需要非常慎重的對(duì)待,對(duì)提供使用傳感器做骨傳導(dǎo)降噪或 VAD 應(yīng)用的一定需要查詢(xún)清楚是否有足夠保護(hù)的專(zhuān)利或請(qǐng)對(duì)方提出具備閃躲蘋(píng)果專(zhuān)利的具體對(duì)策,簽署不侵權(quán)保證書(shū),同時(shí)給出承擔(dān)被訴后損失的承諾,項(xiàng)目負(fù)責(zé)人簡(jiǎn)單的問(wèn)方案商有沒(méi)有專(zhuān)利問(wèn)題。
另外對(duì)于使用 vpu 做 VAD 當(dāng)然就需要查看確認(rèn)華為的 201811199154.2 專(zhuān)利,要特別提醒的是蘋(píng)果的2個(gè)專(zhuān)利一樣覆蓋到了 vpu 基本上耳機(jī)用任何加速度骨傳導(dǎo)傳感器的上行降噪或 VAD 都被包含在內(nèi)。
當(dāng)然,用MEMS 加速度傳感器做 VAD 宇恒公司的 200910190129.2,201810437831.3 也是特別需要去關(guān)注的。
專(zhuān)利侵權(quán)的判斷中許多人員(特別是工程師或技術(shù)人員)會(huì)容易遇到認(rèn)知誤區(qū),認(rèn)為使用的技術(shù)比權(quán)利要求上的技術(shù)特征多,方法不完全相同,就不侵權(quán)。
其實(shí)侵權(quán)的判定是只要專(zhuān)利證書(shū)有效合法,滿足權(quán)力要求內(nèi)所有技術(shù)特征或技術(shù)框架,不管再往上疊加多少技術(shù),不管你知道這個(gè)技術(shù)或應(yīng)用技巧再久,專(zhuān)利沒(méi)有被無(wú)效之前,侵權(quán)都是成立的。
另外技術(shù)特征或技術(shù)框架的判定有相同(完全一樣)及等同(相似),“等同”這里允許一定的模糊空間,若有爭(zhēng)議則可以再?gòu)膶?zhuān)利說(shuō)明書(shū)內(nèi)去補(bǔ)充或其他行業(yè)信息內(nèi)去舉證。
之所以以前行業(yè)內(nèi)專(zhuān)利侵權(quán)訴訟不多或經(jīng)常不了了之,是因?yàn)榕e證成本,審理時(shí)間相對(duì)于產(chǎn)業(yè)變化速度及回報(bào)效益不成比例。
但現(xiàn)在整體智識(shí)產(chǎn)權(quán)維權(quán)大環(huán)境有了結(jié)構(gòu)性的改變,就算不能短時(shí)間內(nèi)在法院取得勝訴判決,在電商渠道卻可以很快的斬?cái)嗲謾?quán)者的利益,商譽(yù)及市占率的大量丟失。
特別是 TWS 耳機(jī) AirPods目前已經(jīng)成為蘋(píng)果公司營(yíng)收最重要的上升機(jī)會(huì),該公司應(yīng)對(duì)侵權(quán)會(huì)實(shí)施更加嚴(yán)苛的方式。
上市公司或知名企業(yè)的項(xiàng)目負(fù)責(zé)人需要慎重,以免對(duì)任職企業(yè)造成巨大傷害,而解決專(zhuān)利侵權(quán)的辦法只有自己提早佈局創(chuàng)新,或合法取得授權(quán)及購(gòu)買(mǎi)擁權(quán)產(chǎn)品,別無(wú)他法。
下方列出近 一年國(guó)內(nèi)專(zhuān)利保護(hù)較重大的變化:
1、2019 年 1 月 1 日開(kāi)始實(shí)施的電商法(關(guān)聯(lián)法條 41 條~45 條)
2、38 個(gè)部門(mén)和單位聯(lián)合印發(fā)《關(guān)于對(duì)知識(shí)產(chǎn)權(quán)(專(zhuān)利)領(lǐng)域嚴(yán)重失信主體開(kāi)展聯(lián)合懲戒的
合作備忘錄》
3、深圳經(jīng)濟(jì)特區(qū)知識(shí)產(chǎn)權(quán)保護(hù)條例(經(jīng)市第六屆人民代表大會(huì)常務(wù)委員會(huì)第二十九次會(huì)議于
2018 年 12 月 27 日通過(guò),并將于 2019 年 3 月 1 日實(shí)施其中關(guān)聯(lián)法條 19~27,43~46)
新的仲裁單位與訴訟法院有:
3-1、2018 年 12 月 25 日成立的中國(guó)(深圳)知識(shí)產(chǎn)權(quán)保護(hù)中心
3-2、2018 年 7 月 28 日在琶洲環(huán)球貿(mào)易中心成立的廣州互聯(lián)網(wǎng)法院
3-3、2018 年 9 月 09 日北京互聯(lián)網(wǎng)法院掛牌成立
四、專(zhuān)利侵權(quán)分析
1、蘋(píng)果公司專(zhuān)利 201380046944.6
使用專(zhuān)利摘要,專(zhuān)利說(shuō)明書(shū)及個(gè)人音頻設(shè)備唯一獨(dú)權(quán)內(nèi)的技術(shù)特征做分析,專(zhuān)利內(nèi)用了一個(gè)模糊的字眼,骨傳導(dǎo)拾取換能器,在說(shuō)明書(shū)[0005]條尾端也提到了加速計(jì),這個(gè)專(zhuān)利適用的對(duì)象是 TWS 耳機(jī)成品制造商,只要用到骨傳導(dǎo)拾取換能器(包含了 MEMS 加速度計(jì)及 vpu),并用到專(zhuān)利中的 20 條權(quán)利要求中的某條權(quán)利,基本上就會(huì)導(dǎo)致侵權(quán)。
其中很關(guān)鍵的地方是,使用“軟材料”在殼內(nèi)填充改善傳感器取得聲帶振動(dòng)所產(chǎn)生聲波的效果,這點(diǎn)要請(qǐng)聲學(xué)研發(fā)人員特別關(guān)注,這是搞聲學(xué)的人最常用的手段,而下圖表示 TWS 耳機(jī)廠家可能拿骨傳導(dǎo)拾取換能器來(lái)做的 6 種功能,都在蘋(píng)果專(zhuān)利的保護(hù)范圍內(nèi)。
蘋(píng)果公司專(zhuān)利 WO2014051969A1
使用專(zhuān)利摘要及 2 個(gè)獨(dú)權(quán)及權(quán)利要求 2.5 內(nèi)的技術(shù)特征做分析,這個(gè)專(zhuān)利用了 37 個(gè)權(quán)利要求主要保護(hù) VAD,噪聲抑制及清濁音互融的應(yīng)用,基本上只要用了加速度計(jì)(MEMS,vpu 都算)及麥克風(fēng)就滿足權(quán)利要求的技術(shù)特征,其中權(quán)利要求 5 把麥克風(fēng)陣列給補(bǔ)充了進(jìn)去。
所以看到這幾個(gè)權(quán)利要可以很明確的說(shuō),不管骨傳導(dǎo)上行降噪算法的提供者用的是 MEMS 或vpu 加速度傳感器加上麥克風(fēng)(不管是 1 個(gè)或多個(gè))都是侵權(quán)。
當(dāng)然,若是不用麥克風(fēng)或加速度傳感器其中任何一種傳感器,就有機(jī)會(huì)閃躲掉這個(gè)專(zhuān)利,更好的辦法是擁有比蘋(píng)果更早的專(zhuān)利做保護(hù),這個(gè)專(zhuān)利強(qiáng)的地方是判斷侵權(quán)非常簡(jiǎn)單,不用找專(zhuān)業(yè)鑒定單位就可以做出清楚的侵權(quán)判斷。
目前推測(cè)蘋(píng)果公司有 2 個(gè)方法可以選擇:
方法1:
拉出電商法,通過(guò)各電商平臺(tái)的維權(quán)渠道投訴,就可以很快的讓侵權(quán)產(chǎn)品下架,判斷方法是,先看產(chǎn)品規(guī)格或功能介紹有沒(méi)有 VAD,噪聲抑制功能若有,則再看產(chǎn)品內(nèi)有沒(méi)有加速度計(jì)(MEMS 或 vpu),若有,就是侵權(quán)了。
上電商平臺(tái)投訴渠道買(mǎi)個(gè)侵權(quán)產(chǎn)品拆解拍照寫(xiě)好侵權(quán)對(duì)比書(shū),上傳,15 天內(nèi)被訴商家提不出反投訴或相應(yīng)不侵權(quán)證據(jù),侵權(quán)產(chǎn)品就等著下架吧,省錢(qián)有效。
方法 2:
直接從市場(chǎng)取證,鑒定,上法院起訴,交壓金,封所倉(cāng)庫(kù)。
知名品牌廠商如:HUAWEI華為,VIVO,OPPO,聯(lián)想,小米客戶群體與蘋(píng)果重疊面積較大,蘋(píng)果的更為重視。
關(guān)于華強(qiáng)北的市場(chǎng),因?yàn)榭腿号c蘋(píng)果不重疊,被投訴主體太小,可以起到幫蘋(píng)果培養(yǎng)未來(lái)潛力客戶。
這項(xiàng)專(zhuān)利很?chē)?yán)格,需要市場(chǎng)上的同行謹(jǐn)慎規(guī)避。
2、華為公司專(zhuān)利 201811199154.2
使用專(zhuān)利摘要及 1 個(gè)方法獨(dú)權(quán) 14 及權(quán)利要求 15 內(nèi)的技術(shù)特征做分析,華為這個(gè)專(zhuān)利可以用圖窮匕見(jiàn)來(lái)形容,前面系統(tǒng)獨(dú)權(quán) 1 及權(quán)利要求 2~13 基本上好閃好躲又多屬芯片內(nèi)的處理或算法軟件,不易取證鑒定,但是方法獨(dú)權(quán) 14 及權(quán)利要求 15 同樣的非常嚴(yán)格,容易涉及侵權(quán)。
把重點(diǎn)突顯在使用骨振動(dòng)傳感器來(lái)控制拾音設(shè)備開(kāi)始拾音,這個(gè)權(quán)利要求滿足 TWS 耳機(jī)行業(yè)內(nèi)極為關(guān)鍵的低功耗要求,華為在專(zhuān)利說(shuō)明書(shū)[0047]條里提到 Sonion 公司的骨傳導(dǎo)傳感器,就是 vpu 了。
所以華為這個(gè)專(zhuān)利侵不侵權(quán)很好判,首先確定是否有 vpu,然后用實(shí)體耳機(jī)通過(guò)量電流的方式確認(rèn),說(shuō)話前后的電流差別及比對(duì)麥克風(fēng)的拾音時(shí)機(jī)即可。
所以想利用 vpu 做 VAD 來(lái)降低功耗的方案,估計(jì)不好實(shí)現(xiàn),另外這個(gè)專(zhuān)利的權(quán)利要求 2~13 條其內(nèi)每條都是算法或功能性軟件,華為將這些算法或功能軟件逐條拆解成權(quán)利要求,也方便他日后使用專(zhuān)利維權(quán)打擊對(duì)手。
3、宇恒公司專(zhuān)利 200910190129.2
使用專(zhuān)利摘要及 2 個(gè)獨(dú)權(quán)內(nèi)的技術(shù)特征做分析,使用加速度傳感器,感測(cè)聲帶,雙擊或計(jì)步運(yùn)動(dòng),通過(guò)算法處里計(jì)算后,查找(判斷,對(duì)比)是否落在預(yù)設(shè)閥值區(qū)間,得出用戶“何時(shí)說(shuō)話”判斷結(jié)果,協(xié)助決定語(yǔ)音助手鍵碼或何時(shí)說(shuō)話判斷結(jié)果(命令字)是否要通過(guò)藍(lán)牙傳送到手機(jī)。
只要依據(jù)加速度傳感器獲取用戶聲帶運(yùn)動(dòng)的 VAD,做為“是否傳送出語(yǔ)音助手鍵碼的參考或何時(shí)說(shuō)話判斷結(jié)果”,不管是否還帶有上行降噪功能都算是侵權(quán),這個(gè)專(zhuān)利的申請(qǐng)時(shí)間落在 2009 年,是個(gè)能夠攻防一體的專(zhuān)利。
宇恒公司專(zhuān)利201010224769.3,201010224780.X,201010224803.7,201010230464.3,
201010243048.7,201120374763.4,包含進(jìn)去了加速度,陀螺儀,地磁儀,氣壓計(jì)多種慣性傳感器感測(cè)聲音的應(yīng)用,申請(qǐng)時(shí)間都落在 2010 年~2011 年,能在傳感器 VAD 應(yīng)用上,起到絕佳的防御作用。
有興趣做骨傳導(dǎo)上行降噪算法的團(tuán)隊(duì)或公司,宇恒互動(dòng)有興趣將專(zhuān)利提供出來(lái),一起研究如何用這些專(zhuān)利組合找出方法,至少先在中國(guó)突破蘋(píng)果專(zhuān)利封鎖,增加談判籌碼,降低自己及未來(lái)客戶的風(fēng)險(xiǎn)。
宇恒公司專(zhuān)利 201810437831.3使用專(zhuān)利摘要及 2 個(gè)獨(dú)權(quán)與權(quán)利要求 16 內(nèi)的技術(shù)特征做分析,使用 1 個(gè)或 2 個(gè),單軸或多軸,模擬或數(shù)字加速度傳感器來(lái)感測(cè)聲帶振動(dòng)和/或人體面部皮膚肌肉及肢體運(yùn)動(dòng),產(chǎn)生傳感器 VAD 的控制信號(hào),不管用的是 MEMS 或 vpu 加速度傳感器及是否還帶有上行降噪功能都算是侵權(quán)。
使用 MEMS 或 vpu 加速度計(jì)做 VAD 或上行降噪應(yīng)用,先把專(zhuān)利風(fēng)險(xiǎn)考慮完,再看這些應(yīng)用是否滿足功能指標(biāo)要求,系統(tǒng)性充分全面的測(cè)試過(guò)再用聲結(jié)構(gòu)的改變是非常難實(shí)現(xiàn)的。
海內(nèi)外知名人工智能語(yǔ)音應(yīng)用巨頭,在對(duì)OVVP算法了解過(guò)程中,非常著重要求專(zhuān)利說(shuō)明,顯然這個(gè)問(wèn)題對(duì)這類(lèi)企業(yè)來(lái)說(shuō)影響很大。
總結(jié)
隨著旗艦手機(jī)逐漸取消3.5mm接口以便實(shí)現(xiàn)輕薄化的趨勢(shì),續(xù)航、傳輸、音質(zhì)、價(jià)格等痛點(diǎn)得到了改善,對(duì)整個(gè)TWS耳機(jī)市場(chǎng)的放量帶來(lái)了巨大的成長(zhǎng)空間。
根據(jù)GFK數(shù)據(jù),2016年無(wú)線耳機(jī)出貨量?jī)H918萬(wàn)臺(tái),市場(chǎng)規(guī)模不足20億元。到2018年無(wú)線耳機(jī)出貨量同比增加41%,市場(chǎng)規(guī)模將達(dá)54億美金。到了2020年TWS無(wú)線耳機(jī)的市場(chǎng)規(guī)模將達(dá)到110億美金。
智研咨詢(xún)預(yù)計(jì)2018-2020年全球TWS耳機(jī)將實(shí)現(xiàn)高速增長(zhǎng),出貨量分別達(dá)到6500萬(wàn)臺(tái),1億臺(tái)和1.5億臺(tái),年復(fù)合增速達(dá)51.9%。預(yù)計(jì)隨著 無(wú)線耳機(jī)音質(zhì),功能性持續(xù)改善及與人工智能語(yǔ)音APP應(yīng)用深度擴(kuò)展聯(lián)結(jié),未來(lái)無(wú)線耳機(jī)的滲透率有望繼續(xù)提升。
這樣巨大的銷(xiāo)量增長(zhǎng)空間,讓每一個(gè)想要入局有實(shí)力的廠商都有可能抓住商機(jī),風(fēng)口起飛。