標準布局+技術(shù)創(chuàng)新 助力音視頻體驗深度優(yōu)化
5月21日—23日,2019騰訊全球數(shù)字生態(tài)大會在昆明召開,來自騰訊音視頻實驗室的專家研究員商世東帶來了題為《面向產(chǎn)業(yè)互聯(lián)網(wǎng)的音視頻技術(shù)發(fā)展展望》的主題演講,從音視頻國際標準、客觀和主觀質(zhì)量評估、音視頻體驗深度優(yōu)化、以及音視頻技術(shù)與5G和人工智能展望等四個方面,分享了產(chǎn)業(yè)互聯(lián)網(wǎng)大背景下,騰訊音視頻實驗室對音視頻技術(shù)發(fā)展的思考與探索。
“5G的推出和AI的突破性進展促進音視頻體驗的極大提升”,商世東介紹,在移動互聯(lián)網(wǎng)比重逐漸提升的今天,實驗室持續(xù)深耕音視頻技術(shù),以個性化用戶訴求為核心,帶來音視頻技術(shù)的深度優(yōu)化和沉浸式體驗。
產(chǎn)業(yè)互聯(lián)網(wǎng)時代,騰訊音視頻實驗室逐漸清晰的國際標準化研究與制定
以往,提到音視頻技術(shù)標準時,高通、三星、愛立信、諾基亞、LG、華為、聯(lián)發(fā)科這些起步較早的企業(yè)總會第一時間被行業(yè)所提及,但在2016年11月,騰訊音視頻技術(shù)中心正式升級為騰訊音視頻實驗室后,騰訊也成為了音視頻標準領域舉足輕重的玩家。
據(jù)商世東介紹,在音視頻標準領域的重大國際會議中,騰訊音視頻實驗室的提案總數(shù)位居前列。去年4月份,在美國圣迭戈召開的國際多媒體標準盛會MPEG 122上,騰訊音視頻實驗室代表騰訊公司正式亮相視頻編解碼國際標準會議并展示成果,并深度參與到標準的制定過程中。
隨著騰訊公司整體戰(zhàn)略升級,為積極響應扎根消費互聯(lián)網(wǎng),擁抱產(chǎn)業(yè)互聯(lián)網(wǎng)的號召,音視頻實驗室在多媒體領域之外,致力于各項行業(yè)標準的制定。
? ? ? ?目前,騰訊音視頻實驗室不僅已經(jīng)有近30項提案被下一代視頻編碼標準VVC/H.266采納,在DASH(Dynamic Adaptive Streaming over HTTP)、OMAF(OmnidirecTIonal Media Format)、PCC(Point Cloud Compression)、CMAF (Common Media ApplicaTIon Format)、NBMP (Network-Based Media Processing)等相關(guān)多媒體標準中也取得多項標準核心專利,并擔任包括主席在內(nèi)的重要席位。
? ? ? ?而針對國家標準AVS2,騰訊也進行了相關(guān)布局。值得一提的是,王者榮耀也被正式納入視頻編解碼標準測試序列級。音視頻實驗室已成為國際行業(yè)標準不可忽視的影響者和領導者。
面向未來,騰訊音視頻實驗室將繼續(xù)深耕視頻相關(guān)標準制定和商業(yè)化以及基于對象的音頻標準和商業(yè)化。同時,在點云壓縮以及360VR壓縮和傳輸上,也有著清晰而周到的布局。
個性化用戶訴求下,騰訊音視頻實驗室?guī)硪粢曨l體驗的深度優(yōu)化
隨著移動互聯(lián)網(wǎng)比重不斷提升,4G網(wǎng)絡也即將展開向5G高速迭代的變革,用戶對高質(zhì)量音視頻內(nèi)容的追求,對音視頻處理技術(shù)提出了更為嚴苛的要求。
“以往,我們對于音視頻內(nèi)容質(zhì)量的評價的方式,大體上‘各花入各眼’,而客觀評價也只能從技術(shù)指標入手,并不能與人眼的評判標準進行統(tǒng)一。”商世東演講的第二個重點,則是AI的突破性進展下,音視頻內(nèi)容客觀到主觀質(zhì)量評估的轉(zhuǎn)變。騰訊音視頻實驗室通過對AI技術(shù)的合理運用,實現(xiàn)了視頻的端到端所有環(huán)節(jié)統(tǒng)一對標人眼評價整體目標的技術(shù),能夠完成基于人眼評價的客觀無參考評估標準,以及模擬人耳主觀體驗的全面評測系統(tǒng),能夠在音頻的聲學指標、網(wǎng)絡指標及物理環(huán)境下對信號的客觀和主觀質(zhì)量進行全面詳細的評估,這在整個音視頻行業(yè)里也是首開先河。
商世東指出,移動互聯(lián)網(wǎng)時代,娛樂、教育、即時通信等不斷細分的垂直領域帶來了多元化的音視頻場景,用戶所使用的軟硬件環(huán)境愈發(fā)復雜,催生了更加個性化的用戶訴求。為了滿足不同用戶的個性化訴求,騰訊音視頻實驗室通過智能的用戶調(diào)度策略、高質(zhì)量鏈路的傳輸以及靈活的流控政策,從用戶角度出發(fā),實現(xiàn)了基于主觀感受的音視頻體驗的深度優(yōu)化。
直面5G時代,技術(shù)創(chuàng)新打造沉浸式音視頻體驗
在演講的最后,商世東表示,面向即將到來的5G時代“大容量、高速率、低延遲”的網(wǎng)絡特性,騰訊音視頻實驗室也做好了充分的準備,通過大數(shù)據(jù)、智能網(wǎng)絡結(jié)構(gòu)以及調(diào)度和資源優(yōu)化,為用戶帶來極具5G時代色彩的沉浸式音視頻體驗;同時,騰訊將音頻通信與機器學習進行了深度融合,實現(xiàn)了網(wǎng)絡/硬件的自動分析與適配、內(nèi)容的情緒識別/合成與轉(zhuǎn)換以及降噪/增強和3D空間渲染的功能。
自成立以來,騰訊音視頻實驗室專注于音視頻通信技術(shù)的前瞻性研究,包括全球?qū)崟r音視頻網(wǎng)絡優(yōu)化、音視頻編解碼前沿算法研究、音視頻國際標準、計算機視覺圖像處理、基于AI的音頻語音增強、聲音美化及音視頻質(zhì)量評測等。在服務于騰訊社交體系下的海量用戶同時,在實時音視頻通信、圖像處理和音視頻處理等技術(shù)領域積累了十幾年的研究經(jīng)驗,擁有行業(yè)領先的技術(shù)水平。
在互聯(lián)網(wǎng)全球化的浪潮之下,兼具研發(fā)實力以及對用戶需求深入探尋的騰訊音視頻實驗室,將努力打造更多具備國際影響力的標準技術(shù),進一步提升“中國智造”在全球市場的話語權(quán)。