Arm和安謀科技攜手，專門為中國市場推出全新智能視覺參考設計

在中國很多IPC視覺系統(tǒng)已經(jīng)成為了紅海市場，競爭非常激烈。同時伴隨著智能視覺對機器學習的要求、性能要求和模型支持的要求都在逐步提高，這也迫使著視覺系統(tǒng)所需的芯片變得更為復雜。除了簡單CPU核外，智能視覺方案的開發(fā)者還要考慮譬如NPU、ISP等多種不同IP的集成。如何能夠讓中國的這些客戶能夠聚集于實現(xiàn)差異化，而不是去做很多重復性的基礎IP整合、基礎軟件之類的開發(fā)工作？基于這一市場需求，Arm和安謀科技攜手，將雙方的IP集合在一起，推出了專為中國市場提供的Arm全新智能視覺參考設計。

智能視覺無處不在，芯片架構日益復雜

人類的智慧體現(xiàn)在可以通過感知、思考和行動來改變世界。感知是思考和行動的基礎，有了感官對于外界信息進行準確地捕捉，才能支持后續(xù)進行思考，思考之后才有行動。

而近年來隨著算力高速提升和模型演進，原本專屬于人類的感知、思考和行動能力逐漸在向機器的轉移。OpenAI 和大模型使模型產(chǎn)生的成本從邊際成本轉化為固定成本，而這一拐點必將引爆模型豐富度，并加速下一個拐點的到來——那就是以機器人和自動駕駛等技術為代表的行動無處不在時代。

而在模型和行動無處不在的新時代，感知也將無處不在，也就意味著智能視覺將會無處不在。智能化提升對于算力的需求也在提高，而簡單的提高CPU的算力已經(jīng)不夠，除了CPU外，更需要專門的硬件來進行特定任務的加速處理。

據(jù)Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務拓展副總裁馬?。–hloe Ma）分享，智能視覺芯片架構在過去幾年中經(jīng)歷了一系列的演進：從功能固定難以編程的DSP和ASK，到通用性強易編程的CPU架構，到現(xiàn)在最先進的綜合了CPU、ISP圖像處理器、NPU AI加速器，VPU視頻編解碼器、GPU圖形處理器的異構SoC片上系統(tǒng)，已經(jīng)逐步實現(xiàn)低功耗、高性能和高度集成的特點。新的智能視覺芯片更適用于資源受限的邊緣設備，比如智能手機、攝像頭、XR，機器人和物聯(lián)網(wǎng)設備等，為智能視覺成為一種普世的能力奠定基礎。

一方面是視覺系統(tǒng)SoC芯片架構的復雜程度提高，另一方面中國的智能視覺市場競爭激烈，大家對于產(chǎn)品從研發(fā)到面市的時間要求更嚴苛，對于方案的差異化要求也更高。面對這些迫切的中國客戶需求，Arm攜手安謀科技，集合了雙方的優(yōu)勢IP，專為中國市場推出了全新的智能視覺參考設計。

面向中國市場智能視覺參考設計，整合Arm和安謀科技的優(yōu)勢IP

此次專為中國市場推出的Arm智能視覺參考設計，整合了Arm和安謀科技雙方的優(yōu)勢IP。整個參考設計包括CPU、ISP、NPU 和 VPU 處理器選項以及將這些元件粘合在一起的子系統(tǒng) IP，并由安謀科技預先集成和預先驗證。

在該智能視覺參考設計中，CPU采用的是Arm的IP，包括Corstone-1000 和 Corstone-300兩個子系統(tǒng)。Corstone-1000是首款為Cortex-A設計的子系統(tǒng)，該方案基本配置是經(jīng)過量產(chǎn)考驗的 Cortex-A35或Cortex-A53，并取得Arm SystemReady IR認證，確保Linux 等操作系統(tǒng)的開機即用，并簡化軟件開發(fā)。Corstone-300 在智能視覺參考設計中，作為低功耗待機子系統(tǒng)，降低邊緣設備的功耗，提高系統(tǒng)效率。

在ISP方面，該智能視覺參考設計中選擇了Arm去年六月發(fā)布的Mali-C55，這也是Arm迄今為止面積最小、功耗最低、且可配置性最高的ISP產(chǎn)品。Mali-C55提供升級的圖像質量功能，可以在各種不同的照片和天氣條件下工作。并且像其他Arm產(chǎn)品一樣，Mali-C55擁有全方位的軟件工具支持，包括軟件驅動實現(xiàn)自動曝光、自動白平衡、自動對焦的3A庫以及全套調校和校準工具，并有 Arm 批準的 ISP 調優(yōu)合作伙伴助力客戶達到最優(yōu)畫質。

在VPU方面，該智能視覺參考設計選擇了安謀科技的“玲瓏” VPU。據(jù)安謀科技智能物聯(lián)及汽車業(yè)務線負責人趙永超介紹，“玲瓏”VPU作為編解碼融合、靈活可配、可編程的多核視頻處理器，不斷在編碼標準、編碼質量、PPA（功耗、性能、面積）等各個方面進行提升，并保持與 Arm 架構以及多媒體生態(tài)的兼容。

面對多樣化的產(chǎn)品需求，“玲瓏”VPU 不斷增強圖像的前后處理能力，增加了按任意比例縮放優(yōu)化的后處理，以及OSD 的前處理和 YUV 到 RGB 的后處理等功能。由于 AFBC (Arm Frame Buffer Compression, Arm系統(tǒng)層面上的無損壓縮) 的支持，“玲瓏” VPU 可以降低 35% 的帶寬。

在NPU方面，該智能視覺參考設計選擇了安謀科技的“周易”NPU。這是一款靈活可配置的人工智能加速器，可以根據(jù)客戶和市場需求配置出1～30TOPS的處理性能。在4 TOPS的典型配置下，在16nm工藝上的實現(xiàn)面積只有3.3個平方毫米。此外，“周易” NPU 可以支持多種典型的深度學習框架，如 Tensorflow、Caffe、Pytorch等；并且目前已經(jīng)針對 100 多種算子算法進行了優(yōu)化適配，完成了對 ChatGPT等大模型的適配。

馬健表示，Arm智能視覺參加設計的與眾不同來自兩大方面，首先它采用成熟的Arm CPU IP作為基礎。而Arm CPU在智能攝像頭領域有已經(jīng)九成以上的份額，用于諸多智能視覺品牌設備；因此客戶可以對IP的質量和強大的軟件生態(tài)系統(tǒng)充滿信心。

此外，該參考設計帶有低功耗待機子系統(tǒng)，可以支持電池供電的視覺設備。安謀科技為此設計貢獻的玲瓏VPU提供了緊湊、多格式和高效的視頻編解碼器，以及周易NPU的高達4個TOPS的ML加速器，使該參考設計可以支持機器視覺的用例。

智能視覺也需要強大生態(tài)，Arm組建智能視覺合作伙伴計劃

除了智能視覺參考設計外，Arm在此次發(fā)布會上還宣布將會攜手AI 視覺、芯片設計、軟件、算法、系統(tǒng)集成等伙伴，共同打造基于 Arm架構智能視覺應用的強大生態(tài)，組建Arm智能視覺合作伙伴計劃。

Arm IP的成功，很大程度上得益于其強大的生態(tài)。在授權商業(yè)模式的基礎上，生長起來的強大生態(tài)使Arm的護城河。而在智能視覺應用，Arm也希望能夠聯(lián)合生態(tài)伙伴一起，加速智能視覺軟件、硬件和系統(tǒng)的開發(fā)。

據(jù)悉，智能視覺參考設計的目標受眾通常是邊緣AI領域的初創(chuàng)公司、跨界創(chuàng)新公司或者是希望進行垂直整合的系統(tǒng)公司。由于種種原因，這些公司并不擁有涵蓋所有芯片架構前端、后端設計師的龐大團隊，他們在視覺領域的第一顆芯片通常要借力于芯片設計公司。通過智能視覺的生態(tài)計劃，這些芯片設計服務伙伴們能夠訪問并熟悉Arm的智能視覺參考設計，并在參考設計的基礎上快速流片，助力客戶快速推出滿足SystemReady和PSA安全標準的芯片。

馬健表示，盡管Arm智能視覺合作伙伴計劃剛剛啟動，但業(yè)界已經(jīng)表現(xiàn)出巨大的興趣。目前百度飛槳已經(jīng)實現(xiàn)了基于飛槳的視覺模型庫和Arm虛擬硬件的整合適配；誠邁科技作為軟件設計合作伙伴加盟，成為中國第一個Arm批準的ISP調優(yōu)伙伴；廈門星宸科技通過了PSA安全認證，展示了智能視覺界領軍者對安全和隱私保護重視程度的提高。伴隨著更多視覺領域的伙伴的加入，相信智能視覺創(chuàng)新步伐將會進一步加快。

推出參考設計目的不是封閉，第三方IP可以更靈活的集成

Arm此次面向中國客戶推出的智能視覺參考設計，雖然全部采用了Arm和安謀科技的IP，但并不意味著客戶只能選擇這些IP；一些第三方的IP，在這個平臺上其實是更容易集成的。

“這次Arm智能視覺參考設計不僅集成了Arm IP，也是我們在使第三方IP更容易集成在一個基礎的標準化平臺上做了一個最新范式。”馬健分享到，“我們希望給客戶和市場做一個展示，那就是Arm智能視覺參考設計可以非常靈活的支持客戶的差異化。如果客戶有圖像處理和ISP方面的自研 IP，也可以通過安謀科技或第三方的芯片設計公司來幫助他們很快地整合這種差異化的IP，并且在此參考設計基礎上進行集成和驗證，達到產(chǎn)品量產(chǎn)的階段。所以，整個設計的初衷和目的就是為了能夠使客戶比較靈活的把創(chuàng)新IP集成到參考設計里，并盡快的推向市場?！?