邊緣AI落地，端側(cè)智能視覺需要什么樣的ISP？

“聰明”一詞來自于《易林》成語“耳聰目明”，指的是聽覺靈敏、眼力敏銳，是一個人智慧的象征。現(xiàn)在我們已經(jīng)到了人工智能的時代，機(jī)器視覺和聽覺對于它們的智能程度也是至關(guān)重要的。馬?。–hloe Ma，Arm 物聯(lián)網(wǎng)兼嵌入式事業(yè)部業(yè)務(wù)拓展副總裁）在Arm最新ISP IP Mail-C55的發(fā)布會上分享到。

智能視覺的應(yīng)用前景廣闊，以智能攝像頭市場為例：市場數(shù)據(jù)表明商用和消費類智能攝像頭市場有望在五年近乎翻倍，從去年的 250 億美元到 2025 年有望達(dá)到 450 億美元。

隨著AI在垂直應(yīng)用落地和持續(xù)向邊緣化部署，智慧視覺的應(yīng)用也發(fā)生了一系列的演進(jìn)。

在功耗敏感的端側(cè)提供專用AI算力

智慧視覺的應(yīng)用已經(jīng)逐漸深入到了生活的方方面面，從高清商務(wù)視頻會議、安防/智能監(jiān)控、智慧城市到電池供電的可視門鈴和智能貓眼，用例非常廣泛。2020年突如其來的新冠疫情大大加速了數(shù)字化轉(zhuǎn)型的節(jié)奏，智能攝像頭也在商務(wù)會議、遠(yuǎn)程教育、遠(yuǎn)程健身等方面進(jìn)一步普及。

簡單的視頻采集并不能滿足當(dāng)前的應(yīng)用需求，AI賦能讓更多的智能視覺應(yīng)用成為可能。例如在公共健康方面，帶有人工智能 (AI) 的智能相機(jī)可以監(jiān)控口罩佩戴情況，跟蹤社交距離，并幫助追蹤接觸者。在工業(yè)和制造業(yè)方面，缺陷和異常檢測已經(jīng)起到了提高生產(chǎn)效率、保證產(chǎn)品質(zhì)量和減輕人力投入的效果。而在更高精度、工序及其復(fù)雜的半導(dǎo)體制造過程中，基于深度學(xué)習(xí)算法的視覺檢測系統(tǒng)可以在每個半導(dǎo)體工藝完成后都會通過優(yōu)質(zhì)產(chǎn)品的圖像進(jìn)行訓(xùn)練，并且學(xué)會識別缺陷。在農(nóng)業(yè)方面，智能視覺技術(shù)通過監(jiān)測雜草和農(nóng)作物種植密度，可以最大限度地提高產(chǎn)量，幫助緩解食品供應(yīng)鏈的困難。

而未來進(jìn)入到元宇宙時代，更多的人工智能功能，比如人臉識別、物體識別等的部署將會拓展到邊緣端，圖像處理的任務(wù)也就需要在端側(cè)完成，圖像處理后輸出的圖像可以直接送到機(jī)器學(xué)習(xí) (ML) 加速器來做推理，加上現(xiàn)有的高清攝像頭和多攝像頭的逐步普及，人們對于視覺技術(shù)性能提出了更高的新要求。

智能視覺系統(tǒng)在端側(cè)逐漸普及，功耗敏感的端側(cè)如何提供足夠的算力，提供專業(yè)的圖像處理能力，這是當(dāng)下技術(shù)發(fā)展的關(guān)鍵方向。在智能視覺系統(tǒng)端側(cè)添加專用的NPU引擎、ISP引擎，用于圖像處理能力，從而釋放CPU的資源專注于更適合的計算和控制等工作，才可以保證系統(tǒng)整體低功耗和性能兼顧。

端側(cè)智慧視覺系統(tǒng)需要什么樣的ISP？

當(dāng)前智能攝像頭的CPU的絕大多數(shù)采用的是Arm的Cortex-A系列CPU IP，而據(jù)馬健介紹，未來除了基本的CPU之外，也會更多地使用 ISP 和 ML 加速器。要實現(xiàn)高效的系統(tǒng)設(shè)計，擁有可針對此類活動所需要的數(shù)據(jù)類型和處理進(jìn)行匹配的 ISP 是非常重要的。一些 NPU、通用 GPU、ISP 等 IP 都會逐漸地在現(xiàn)有或者下一代芯片中得到應(yīng)用，用于從圖像中提取更多有用的信息。

任何一個高速發(fā)展的市場都會經(jīng)過一段百花齊放的階段，然后市場漸趨成熟，變得愈發(fā)整合，智能視覺市場亦是如此。當(dāng)前智能視覺的市場增長速度很快，用例很多并且有非常多創(chuàng)新。但市場的細(xì)分應(yīng)用方向已經(jīng)基本明確，每個市場都有一些基本模塊，每個廠商也都有相似的方案。在這些細(xì)分市場上實現(xiàn)差異化，通過不同的算法和用例上的不同優(yōu)化，是當(dāng)前創(chuàng)新的來源。

除了要在邊緣端提供專門的圖像處理能力和AI加速的能力外，還應(yīng)注意在不同智能視覺的用例上，對于圖像處理的質(zhì)量也是不同的。例如一些簡單的物品識別的場景對于分辨率的要求并不高；而在安防領(lǐng)域例如車牌和人臉識別，對于圖像處理質(zhì)量要求就高得多；像在高精度的缺陷檢測用例中，對于圖像的成像精度有著更高的要求。

基于以上的技術(shù)發(fā)展趨勢和市場應(yīng)用需求，Mali-C55的產(chǎn)品定義也就呼之欲出。應(yīng)用在功耗敏感的端側(cè)，有專業(yè)的圖像處理能力，強(qiáng)大的AI算力，支持可靈活拓展的用例，并且易于部署。

Mali-C55：一半面積實現(xiàn)翻倍性能

Mali-C55有著高性能、易于配置、易于部署和系統(tǒng)整合難度低三大優(yōu)勢。幾大優(yōu)勢說起來簡單，但均來自Mali-C55的架構(gòu)設(shè)計上的創(chuàng)新，以及Arm全套的IP強(qiáng)生態(tài)。

首先看性能參數(shù)方面，Maili-C55相比上代C52，面積直接縮減了一半，畫質(zhì)和分辨率翻倍達(dá)到了8K、4800 萬像素，Throughput提升了一倍（1200Mpix/sec），此外攝像頭支持也從單通道提升到了最高8通道，像色彩映射和降噪等模塊也實現(xiàn)了升級?！案〉拿娣e同時也意味著更低的功耗?！瘪R健強(qiáng)調(diào)到。

易于配置和部署的優(yōu)勢來自Mali-C55靈活的模塊化設(shè)計。ISP的處理是一個流水線，從傳感器得到原始的圖像，而這些原始數(shù)據(jù)會經(jīng)過一系列的處理，包括時間降噪、空間降噪、色調(diào)映射等。傳統(tǒng)的ISP的流水線比較固定，開發(fā)者很難去配置每個步驟的內(nèi)容，或去掉某些步驟。正如上文所提到的，不同的用例對于不同的圖像處理有著不同的要求和偏向，而且不同客戶的要求也存在差異。

Mali-C55 是將時間降噪（Temper）、空間降噪（Sinter）和色調(diào)映射（Iridix）等作為不同的模塊，讓開發(fā)者靈活組合。Iridix將圖像中的這些局部區(qū)域定義為大小相等的網(wǎng)格，從每個網(wǎng)格中提取統(tǒng)計數(shù)據(jù)應(yīng)用于圖像中相應(yīng)的局部區(qū)域。Mali-C55中升級的Iridix8.1通過平滑每個局部色調(diào)曲線改進(jìn)了局部色調(diào)映射算法，因此可以在明亮光源周圍實現(xiàn)更自然的衰減。Temper是通過組合連續(xù)幀來提高低光照條件下的圖像質(zhì)量的時間降噪算法。 Mali-C55中升級的Temper4不僅通過更新的降噪算法提高了圖像質(zhì)量，而且與 Mali-C52 相比，內(nèi)存帶寬減少了高達(dá) 50%。Sinter是一種空間降噪技術(shù)，Mali-C55中升級后的Sinter2.6可改善顏色通道中的細(xì)節(jié)和噪聲平衡，通過為每個顏色通道使用特定的寄存器來實現(xiàn)更好的細(xì)節(jié)平衡。這兩種降噪模塊可以在流水線中的順序可以進(jìn)行按照客戶需求進(jìn)行切換。

除了上述模塊外，在圖像處理的流水線過程中，開發(fā)者還可以加入 ML 加速、調(diào)用 NPU 的功能并運用大數(shù)據(jù)對數(shù)據(jù)進(jìn)行分析，來增強(qiáng) ISP 的功能，比如可以利用 ML 的功能使一些時間、空間方面的降噪效果做得更明顯。

模塊化的設(shè)計帶來了更靈活的部署選擇，客戶根據(jù)不同的應(yīng)用需求可以使用Mali-C55來進(jìn)行不同的配置。比如在安防監(jiān)控領(lǐng)域，室外的攝像頭成像經(jīng)常會受到光線、天氣和物體移動速度等因素的影響。借助 Mali-C55 增強(qiáng)的色調(diào)映射和降噪能力，人臉和物體識別就會更加精確，并且在車輛以時速 120.7 公里的速度行駛的情況下，也能做到比較準(zhǔn)確的車牌識別。在智能家居領(lǐng)域，可視門鈴經(jīng)常是電池供電，所以對能耗的要求特別高，Mali-C55 的低面積、低能耗特性，使智能可視門鈴產(chǎn)品更耐用，并且能夠更準(zhǔn)確地根據(jù)人臉識別的結(jié)果進(jìn)行開鎖。

在系統(tǒng)整合方面，Mali-C55 也更易于整合，包括與 ML 加速器整合實現(xiàn)邊緣智能終端上本地視頻數(shù)據(jù)處理，以及通過標(biāo)準(zhǔn)的 AXI 和 AHB 接口，與現(xiàn)有的 Arm Cortex-A 和 Cortex-M 系列的 CPU 進(jìn)行無縫對接。此外，Arm還將Mali-C55與MCU、CPU等IP一起打包推出了視覺的Corstone參考設(shè)計，這也極大地降低了客戶的設(shè)計和驗證門檻，幫助客戶加速智慧視覺的產(chǎn)品設(shè)計和縮短上市時間。

總結(jié)

“Arm 架構(gòu)是物聯(lián)網(wǎng)的基石。Arm 在 IoT 和嵌入式領(lǐng)域已經(jīng)有很高的市場份額。在我們的合作伙伴每季度平均出貨的70多億顆基于Arm的芯片中，超過半數(shù)是面向物聯(lián)網(wǎng)/嵌入式設(shè)備的。也就是說我們在這方面有很深的積累。”馬健分享到。

在端側(cè)智能視覺的發(fā)展中，ISP必不可少，而ISP上的布局也將會成為Arm持續(xù)關(guān)注的方向。憑借著足夠優(yōu)秀的性能表現(xiàn)，再輔以Arm完備的IP生態(tài)，Mali-C55的市場前景廣闊，預(yù)計搭載Mali-C55的芯片跟終端設(shè)備有望在 2023 年面市。