“玲瓏”ISP處理器亮相，打響安謀中國自研IP產(chǎn)品線第四彈

時間：2023-01-09 19:05:01

關(guān)鍵字： ARM ISP處理器產(chǎn)品

手機(jī)看文章

掃描二維碼
隨時隨地手機(jī)看文章

[導(dǎo)讀]自“周易”、“星辰”、“山海”悉數(shù)亮相后，安謀中國的第四條自研IP產(chǎn)品線——全新“玲瓏”多媒體產(chǎn)品線在2020年12月發(fā)布，自此安謀中國自研IP產(chǎn)品線布局日趨完善?！爸芤住笔且粋€開放通用的人工智能平臺，擁有軟件框架Tengine和人工智能處理單元(AIPU)，最新發(fā)布的“周易”Z2 AIPU單核算力最高可達(dá)4TOPS，同時支持多達(dá)32核的可擴(kuò)展配置；“星辰”基于Arm v8-M架構(gòu)，是面向物聯(lián)網(wǎng)設(shè)備的輕量級實時處理器；“山?！笔敲嫦蛭锫?lián)網(wǎng)設(shè)備的信息安全方案。

依托安謀中國領(lǐng)先的數(shù)字寬動態(tài)與融合寬動態(tài)結(jié)合的算法技術(shù)，“玲瓏”i3/i5 ISP處理器達(dá)到了像素級的局部寬動態(tài)自適應(yīng)提升，并采用多尺度、多級降噪技術(shù)，以支持2D/3D自適應(yīng)降噪，達(dá)到業(yè)界領(lǐng)先的信噪比表現(xiàn)

自“周易”、“星辰”、“山?！毕?shù)亮相后，安謀中國的第四條自研IP產(chǎn)品線——全新“玲瓏”多媒體產(chǎn)品線在2020年12月發(fā)布，自此安謀中國自研IP產(chǎn)品線布局日趨完善?！爸芤住笔且粋€開放通用的人工智能平臺，擁有軟件框架Tengine和人工智能處理單元(AIPU)，最新發(fā)布的“周易”Z2 AIPU單核算力最高可達(dá)4TOPS，同時支持多達(dá)32核的可擴(kuò)展配置；“星辰”基于Arm v8-M架構(gòu)，是面向物聯(lián)網(wǎng)設(shè)備的輕量級實時處理器；“山?！笔敲嫦蛭锫?lián)網(wǎng)設(shè)備的信息安全方案。

此次安謀中國公布了全新“玲瓏”多媒體產(chǎn)品線，其中首款產(chǎn)品“玲瓏”i3/i5 ISP處理器在降噪、清晰度和寬動態(tài)等指標(biāo)上達(dá)到業(yè)界領(lǐng)先水平，具有高畫質(zhì)、低延時、可配置能力強(qiáng)、擴(kuò)展兼容性高等特點?！绷岘嚒盜SP處理器可廣泛適用于安防監(jiān)控、AIoT及智能汽車等領(lǐng)域的視頻、圖像處理工作，滿足不同場景的數(shù)據(jù)處理需求。

歷時兩年，安謀中國本土團(tuán)隊獨立研發(fā)的“玲瓏”ISP處理器采用先進(jìn)的架構(gòu)，面向多個目標(biāo)市場。安謀中國表示他們正瞄準(zhǔn)傳統(tǒng)的多媒體方向的應(yīng)用空間和領(lǐng)域，那么安謀中國以“玲瓏”系列打入這個領(lǐng)域有哪些考慮呢？

ISP圖像處理器的應(yīng)用生命力強(qiáng)

ISP是圖像信號處理器（Image Signal Processor）的簡稱，目前已經(jīng)被廣泛應(yīng)用于人們對于攝像頭、人機(jī)交互的需求中。多媒體應(yīng)用是一個相對傳統(tǒng)的應(yīng)用方向和領(lǐng)域，過去在音視頻、圖像上已有一定的技術(shù)積累，如今已衍生出一些新興的應(yīng)用方向，如圖像不僅僅是給人看，也交給機(jī)器“看”。

如今海量的嵌入式設(shè)備攜帶攝像頭，近至你手掌中的智能手機(jī)、市面上大量的大眾消費級的顯示器，當(dāng)然也包含正在研發(fā)當(dāng)中的智能駕駛系統(tǒng)，以及各種公共場所上的監(jiān)控設(shè)備；遠(yuǎn)至在近地軌道上運(yùn)行的眾多微型衛(wèi)星，可以說圖像信號的獲取和處理是一個極為廣泛存在的需求。

安謀中國產(chǎn)品研發(fā)常務(wù)副總裁劉澍表示：圖像信號處理器能夠?qū)z像頭拍攝到的畫面做不同程度的分析，并對畫面做不同程度的增強(qiáng)和改善，這使ISP圖像信號處理器在此專業(yè)領(lǐng)域里，長期地保持著應(yīng)用生命力。這也是為什么安謀中國在傳統(tǒng)多媒體方向的應(yīng)用空間和領(lǐng)域也不斷進(jìn)行投入的原因。

跟蹤變化，不受美國管制限制

國外進(jìn)口管制與中國相關(guān)法案均在動態(tài)變化中。由于規(guī)則不斷變化，安謀中國也將持續(xù)跟蹤有關(guān)美出口管制禁令，跟蹤法規(guī)變化進(jìn)展。

劉澍表示：安謀中國的產(chǎn)品經(jīng)過詳細(xì)的法律分析，工程團(tuán)隊不斷將設(shè)計的具體情況反饋給內(nèi)、外部的法務(wù)部以及外部的顧問。分析結(jié)果表明，在目前的進(jìn)出口管制規(guī)則下，”玲瓏 “ISP 處理器不受美國進(jìn)出口管制限制。

“玲瓏”ISP處理器依照不同場景，劃分為多個系列產(chǎn)品

圖像和機(jī)器的交互、人和機(jī)器的交互、以及虛擬和現(xiàn)實圖景的交互，不同場景的畫質(zhì)處理與讀者感官上的處理，包括機(jī)器等功效的處理等存在很大的不同。

從一個視頻流到ISP圖像處理器的輸入，到GPU的處理，VPU的解析，AI在里面的分析和運(yùn)算，到最后的解析和輸出，整個數(shù)據(jù)流在SoC里面經(jīng)過了非常復(fù)雜的過程，因此靠一個單點產(chǎn)品不能滿足視頻畫面處理的最佳效果?！傲岘嚒盜SP處理器從系統(tǒng)的層面來看，包括從前端前處理到后處理，到中央的運(yùn)算分析等等，把它們當(dāng)成一個整體來看，同時在這上面疊加目前廣大應(yīng)用所關(guān)心的安全性、隱私性、內(nèi)容管理性等特色。

在應(yīng)用場景方面，“玲瓏”ISP處理器能支持多攝像頭的規(guī)格。攝像頭數(shù)據(jù)進(jìn)到ISP內(nèi)部，“玲瓏”在RAW域、RGB域以及YUV域上面進(jìn)行各種色彩、圖像、降噪的處理。若干驅(qū)動和應(yīng)用程序運(yùn)行在CPU側(cè)，同時在OS層面進(jìn)行優(yōu)化和驗證。最后，經(jīng)過”玲瓏”ISP的前處理之后導(dǎo)入到DDR的控制器里，DDR里面的數(shù)據(jù)會對不同的運(yùn)算單位進(jìn)行交互。這里面包括了人工智能單元、CPU單元、視頻單元和顯示單元的后處理。

“玲瓏”ISP處理器依照不同場景的數(shù)據(jù)處理需求劃分為多個系列產(chǎn)品。i3系列與i5系列這兩款產(chǎn)品之間有一定的差異性。未來，“玲瓏”ISP處理器還將推出更多差異化的產(chǎn)品系列，全面覆蓋市場。

i3系列主打低功耗、輕量級應(yīng)用

此系列支持2K視頻處理及單路視頻信號接入處理，可以廣泛應(yīng)用于家居、AIoT 領(lǐng)域。時鐘綜合頻率在 400MHz 左右，能夠達(dá)到 500 萬像素、60fps 的實時處理效果。在保證效能、控制成本的同時，依然保持對寬動態(tài)的處理、降噪的處理和清晰度的處理的高水準(zhǔn)。

i5系列主打中高端市場應(yīng)用

此系列支持4K視頻及多路視頻信號接入處理，能夠達(dá)到800萬像素、60fps的實時處理速度。值得注意的是，此系列在臺積電16nm工藝水平上綜合時鐘頻率可以達(dá)到600MHz。

“玲瓏”ISP 處理器概覽

關(guān)于新品特點，劉澍強(qiáng)調(diào)以下兩點：

靈活可配置的設(shè)計

“玲瓏”ISP處理器包含非常復(fù)雜的降噪、寬動態(tài)的處理程序，可在處理過程中給用戶一定的選擇的空間，甚至還有為客戶定制的接口，幫助客戶達(dá)到兩方面的目的：第一、實現(xiàn)產(chǎn)品差異化。第二、客戶可以針對很多不同的場景、不同的傳感器、不同的模組、不同的光線以及周邊的環(huán)境，選擇不同的模塊，從而有更大的可擴(kuò)展、可定制空間，可做出非常有特色的產(chǎn)品。

優(yōu)秀的動態(tài)效果

“玲瓏”ISP處理器，一是擁有安謀中國引以為豪的寬動態(tài)處理效果；二是擁有業(yè)界非常領(lǐng)先的各種降噪表現(xiàn)，在低光降噪方面，通過2D和3D的降噪技術(shù)，提供多尺度、多級降噪效果。

以上特點，在安謀中國ISP產(chǎn)品經(jīng)理解亮所作的“玲瓏”ISP處理器效果解說中，進(jìn)行了可視化體現(xiàn)：

▲WDR寬動態(tài)效果（高光抑制）

▲降噪效果（2級降噪）

具體來說，“玲瓏”i3/i5 ISP處理器的技術(shù)亮點有：

硬件架構(gòu)靈活可配置，客戶可自行選配可選模塊進(jìn)行集成
多元的工作模式，可兼容線性、原始/壓縮的HDR數(shù)據(jù)，單路及多路攝像頭輸入，支持超高分辨率分屏處理
DMA接口數(shù)據(jù)輸入輸出模式可配，可在ISP多個節(jié)點輸出不同格式的數(shù)據(jù)
軟件API接口豐富，圖像效果調(diào)試流程簡易、清晰
提供豐富的軟硬件參考設(shè)計，如標(biāo)定工具、調(diào)優(yōu)工具和MIPI轉(zhuǎn)DVP數(shù)字電路等

與AI處理器結(jié)合，達(dá)成AI+ISP的強(qiáng)大效果

安謀中國做每一款處理器 IP 時，一直貫徹可配置化、可定制性的原則; 如之前的“星辰” CPU 有用戶自定義指令集、“周易” AIPU 會有自定義的算子，這款”玲瓏” ISP 產(chǎn)品也是一樣。作為整個安謀中國產(chǎn)品系列的重要組成部分，“玲瓏“多媒體產(chǎn)品系列將和安謀中國以及Arm的CPU系列、GPU系列，AI產(chǎn)品系列、顯示產(chǎn)品系列等等協(xié)同，形成全面的整體系統(tǒng)解決方案。此次，安謀中國還表示：除了 ISP 圖像處理技術(shù)之外，多媒體產(chǎn)品線未來也會有Video、Codec等技術(shù)相關(guān)的產(chǎn)品。

在前期市場反饋中，“玲瓏”i3/i5 ISP處理器在業(yè)界十分看重的寬動態(tài)處理效果和信噪比處理水平上表現(xiàn)優(yōu)異。依托安謀中國領(lǐng)先的數(shù)字寬動態(tài)與融合寬動態(tài)結(jié)合的算法技術(shù)，“玲瓏”i3/i5 ISP處理器達(dá)到了像素級的局部寬動態(tài)自適應(yīng)提升，并采用多尺度、多級降噪技術(shù)，以支持2D/3D自適應(yīng)降噪，達(dá)到業(yè)界領(lǐng)先的信噪比表現(xiàn)?！傲岘嚒眎3/i5 ISP處理器同時設(shè)置了豐富的系統(tǒng)中斷和調(diào)試接口，具有低延時、低系統(tǒng)帶寬的特點，可對圖像質(zhì)量進(jìn)行調(diào)優(yōu)技術(shù)支持。

未來，“玲瓏”ISP處理器優(yōu)異的信號處理能力還可以與AI處理器相結(jié)合，在智能安防等領(lǐng)域達(dá)成AI+ISP的強(qiáng)大效果。

鎖定中國市場，協(xié)助 IC 設(shè)計

為滿足不同行業(yè)客戶復(fù)雜多變的需求，“玲瓏”i3/i5 ISP處理器將為客戶提供從先期評估到最終量產(chǎn)的全方位技術(shù)支持。安謀中國不僅為客戶提供豐富的ISP圖像效果評估手段，詳細(xì)的設(shè)計文檔和培訓(xùn)支持，還將提供IP集成及后端的參考流程等深入的訂制服務(wù)。

在此次“玲瓏”多媒體產(chǎn)品線發(fā)布會上，劉澍表示安謀中國在深圳和上海的辦公室建立了專業(yè)的圖像和光學(xué)實驗室，實驗室投入數(shù)百萬購置設(shè)備，在新冠疫情期間進(jìn)口并幫助客戶進(jìn)行調(diào)試?！傲岘嚒癐SP處理器目前已申請十余項專利，其中有5項已獲得批準(zhǔn)。由于安謀中國團(tuán)隊是在國內(nèi)完成架構(gòu)定義設(shè)計，所以安謀中國能夠為客戶提供本地化的支持。目前，“玲瓏”i3/i5 ISP處理器均已可向客戶交付。

劉澍表示：“近年來，伴隨著智能化、網(wǎng)絡(luò)化的發(fā)展，視頻圖像處理被廣泛應(yīng)用于智能安防、AIoT、智能汽車等諸多領(lǐng)域。受益于這些應(yīng)用在中國的蓬勃發(fā)展，中國ISP市場呈現(xiàn)出增長迅速、需求多樣的特征。為此，安謀中國組建本土團(tuán)隊，歷時2年多自主研發(fā)出具有業(yè)界領(lǐng)先水平的‘玲瓏’i3/i5 ISP處理器。在研發(fā)過程中，我們始終聚焦中國客戶需求，持續(xù)推動方案的演進(jìn)迭代，不僅凸顯了安謀中國在ISP領(lǐng)域一流的研發(fā)實力和技術(shù)儲備，也進(jìn)一步提升了安謀中國對本土客戶快速響應(yīng)、全面支持的技術(shù)保障能力。

從長時段的維度來觀察，安謀中國積極研發(fā)自研IP產(chǎn)品線，可能為安謀中國布局“芯”格局的重要一步。安謀中國先后發(fā)布了人工智能處理器平臺“周易”、物聯(lián)網(wǎng)設(shè)備信息安全方案“山?！薄⒁约懊嫦蛭锫?lián)網(wǎng)設(shè)備的輕量級實時處理器“星辰”，再加上此次”玲瓏”ISP處理器的面世，一顆片上系統(tǒng)芯片（SoC）需要的幾大件都亮了出來。不過，安謀中國表示將始終堅持做一個技術(shù)起點的角色，協(xié)助 IC 設(shè)計公司打造屬于自己的芯片。

＋

更多精彩