華為海思發(fā)布XR混合現(xiàn)實(shí)芯片：支持8K解碼，集成GPU、NPU

5月21日，上海海思正式發(fā)布XR芯片平臺(tái)，推出首款可支持8K解碼能力，集成GPU、NPU的XR芯片，首款基于該平臺(tái)的AR眼鏡為Rokid Vision。

海思官方也對(duì)這一平臺(tái)進(jìn)行了更多解讀：

一方面，該XR芯片平臺(tái)支持8K硬解碼能力，可以支持到單眼42.7PPD。

以VR為例，人眼能達(dá)到的理想分辨率大約為60PPD（每度像素?cái)?shù)），一般支持4KP60解碼能力的芯片能支持的單眼分辨率為21.3PPD，對(duì)應(yīng)到電視的話只能等效于480P的電視顯示效果，還遠(yuǎn)遠(yuǎn)達(dá)不到讓人感到舒適和沉浸式的效果。此次海思發(fā)布的XR芯片也是從解碼能力進(jìn)行了提升，以提供更清晰的內(nèi)容呈現(xiàn)效果。

另一方面，該平臺(tái)加入海思專有架構(gòu)NPU，可以提供最高9TOPS的NPU算力。

AR產(chǎn)品一個(gè)重要應(yīng)用場(chǎng)景是人臉識(shí)別、車牌識(shí)別，這需要對(duì)AR眼鏡攝像頭中采集到的視頻圖像進(jìn)行實(shí)時(shí)分析，正確識(shí)別出每幀圖像中的人臉及車牌，將識(shí)別到的結(jié)果上傳到服務(wù)器進(jìn)行比對(duì)，并將比對(duì)結(jié)果實(shí)時(shí)顯示到眼鏡中的屏幕上。從圖像采集、分析、上傳到顯示，耗時(shí)越短，速度越快，用戶體驗(yàn)越好，而分析階段是整條鏈路中耗時(shí)最長(zhǎng)的一環(huán)，想要做到每分鐘上百個(gè)人臉、車牌在毫秒級(jí)時(shí)間內(nèi)完成分析識(shí)別，就需要芯片具備強(qiáng)大的NPU算力支持。也是基于這樣的考慮，海思對(duì)平臺(tái)架構(gòu)進(jìn)行了優(yōu)化。

作為海思XR芯片平臺(tái)的第一款產(chǎn)品，Rokid Vision為國(guó)內(nèi)AR領(lǐng)域創(chuàng)企Rokid旗下的一款核心產(chǎn)品，該產(chǎn)品正面外觀與普通墨鏡相似，鏡片內(nèi)側(cè)有兩塊獨(dú)立顯示屏，具備 40°+ 視場(chǎng)角（FOV），1080P的3D顯示效果，采用光波導(dǎo)顯示方案，連同鏡腿兩側(cè)的立體聲音響，可為用戶帶來(lái)等同于一臺(tái)4米外110寸3D 高清電視的沉浸體驗(yàn)。

據(jù)悉，Rokid Vision將應(yīng)用于安防、工業(yè)、教育、零售、會(huì)展等多個(gè)領(lǐng)域，提供更強(qiáng)大、便攜、沉浸的體驗(yàn)。

Rokid也正式宣布加入海思的XR芯片平臺(tái)。此前，Rokid已與海思一起優(yōu)化了這一平臺(tái)專用算法和方案。據(jù)悉，雙方對(duì)語(yǔ)音、視覺(jué)、環(huán)境感知等AI計(jì)算能力做了大量的優(yōu)化工作，完成了多路視頻編解碼的高分辨率低延時(shí)設(shè)計(jì)，從芯片規(guī)格、系統(tǒng)軟件和云端服務(wù)多個(gè)層面，為XR行業(yè)提供AI交互和多人協(xié)同等核心基礎(chǔ)能力。