當前位置:首頁 > 嵌入式 > 嵌入式動態(tài)
[導讀]帶有多個高分辨率攝像頭的嵌入式360°視域視覺系統(tǒng)已經進入了各種應用中,如汽車傳感器融合、視頻監(jiān)控、目標檢測、運動分析等。在此類系統(tǒng)中,多個實時攝像機的視頻流(最多6個) 被匯聚在一起逐幀處理,進行失真和其他圖像偽影校正,調整曝光和白平衡,然后動態(tài)拼接成一個360°全景視圖,以4K清晰度和60 fps幀頻輸出,最終投影到一個球形坐標空間上。

引言:

2018年4月11日,工業(yè)和信息化部、公安部和交通運輸部聯(lián)合發(fā)布“關于印發(fā)《智能網聯(lián)汽車道路測試管理規(guī)范(試行)》的通知”,為我國智能網聯(lián)汽車道路測試提供了相關法律依據。三部委在賦予智能網聯(lián)汽車上路資格的同時,也提出了若干嚴格的條件。

其中,在第二章“測試主體、測試駕駛人及測試車輛”的第七條第(四)點中,三部委要求:具備車輛狀態(tài)記錄、存儲及在線監(jiān)控功能,能實時回傳下列第1、2、3項信息,并自動記錄和存儲下列各項信息在車輛事故或失效狀況發(fā)生前至少90秒的數據,數據存儲時間不少于3年:

1. 車輛控制模式;

2. 車輛位置;

3. 車輛速度、加速度等運動狀態(tài);

4. 環(huán)境感知與響應狀態(tài);

5. 車輛燈光、信號實時狀態(tài);

6. 車輛外部360度視頻監(jiān)控情況;

7. 反映測試駕駛人和人機交互狀態(tài)的車內視頻及語音監(jiān)控情況;

8. 車輛接收的遠程控制指令(如有);

9. 車輛故障情況(如有)。

由此可以看出,上述條件除了對進行道路測試的智能網聯(lián)汽車有若干功能性要求外,還在相關領域將推動若干新一代通信、監(jiān)控、控制和存儲等技術的發(fā)展,為智能網聯(lián)汽車專用SoC的開發(fā)提供新的市場機會。

嵌入式FPGA(eFPGA)將在這類芯片中扮演重要角色。如為了滿足第六條中提到的車輛外部360度視頻監(jiān)控數據的獲取和處理,采用eFPGA來設計相關功能芯片具有很明顯的優(yōu)勢。作為同時提供獨立FPGA芯片和eFPGA IP產品的公司,Achronix可以幫助智能汽車SoC設計人員先在FPGA芯片上開發(fā)和調試相關功能,而在市場進入批量化應用后無需顯著修改設計,立即將設計移植到搭載了eFPGA的SoC之上。

有關eFPGA如何支持嵌入式360度視域視覺系統(tǒng)設計,請閱讀Achronix Semiconductor資深產品營銷經理Alok Sanghavi的文章,標題為“將eFPGA應用于嵌入式360度視域視覺系統(tǒng)中”。

帶有多個高分辨率攝像頭的嵌入式360°視域視覺系統(tǒng)已經進入了各種應用中,如汽車傳感器融合、視頻監(jiān)控、目標檢測、運動分析等。在此類系統(tǒng)中,多個實時攝像機的視頻流(最多6個) 被匯聚在一起逐幀處理,進行失真和其他圖像偽影校正,調整曝光和白平衡,然后動態(tài)拼接成一個360°全景視圖,以4K清晰度和60 fps幀頻輸出,最終投影到一個球形坐標空間上。

目前用于此類應用的高分辨率魚眼相機鏡頭通常具有一個廣角視域(FOV)。環(huán)視相機系統(tǒng)最大的瓶頸之一是: 實時到或從外部存儲器存儲/讀取和訪問多路攝像機輸入數據,然后將其作為一個單一幀進行處理。硬件需要在一幀延遲內,在輸入攝像機傳入的原始傳感器數據和拼接輸出視頻之間完成處理運行。

高性能計算平臺一直朝著與CPU一起協(xié)同使用FPGA的方向發(fā)展,以便為實時圖像處理任務提供專門的硬件加速。 這種配置使得CPU能專注于特別復雜的算法,其中它們可以快速切換線程和上下文,并將重復性任務分配給一個FPGA,以充當可配置的硬件加速器/協(xié)處理器/卸載引擎。 即使將FPGA和CPU作為分立器件使用,系統(tǒng)也可以提高整體效率,因為這些技術不會發(fā)生沖突,而是像將手套戴在手上一樣來配合在一起。

例如,從魚眼鏡頭獲得的圖像遭受嚴重失真之苦,因而基于多個相機視頻生成的拼接操作是高度計算密集型的任務,其原因為它是點像素操作。這種拼接需要大量的實時圖像處理和高度并行化的架構。但是,這種下一代的應用超過了FPGA可不斷接續(xù)實現(xiàn)的性能,主要是由于芯片吞吐數據的延遲。這反過來會影響整個系統(tǒng)的整體延遲、吞吐速度和性能。

在一個SoC中加入可與CPU一起嵌入的eFPGA半導體知識產權(IP)。與一個獨立的FPGA芯片加CPU解決方案相比,嵌入式FPGA陣列結構具有獨特的優(yōu)勢,主要優(yōu)勢在于性能更強。一個eFPGA可通過一個寬的并行接口直接連接到ASIC(無I / O緩沖器)上,提供顯著提高的吞吐量,以及以個位數時鐘周期來計數的延遲。低延遲是復雜的圖像實時處理過程的關鍵,例如糾正魚眼鏡頭的失真這樣的處理。

利用Speedcore eFPGA IP,客戶可以定義其邏輯、內存和DSP資源需求,然后Achronix可配置其IP以滿足他們的需求。查找表(LUTs)、RAM單元塊和DSP64單元塊可以像積木一樣進行組合,為任何給定的應用創(chuàng)建最佳的可編程結構。

除了標準邏輯、嵌入式存儲器和DSP單元模塊之外,客戶還可以在Speedcore eFPGA結構里面定義他們自己的功能塊。通過把這些定制功能模塊與傳統(tǒng)構建模塊一起集成到邏輯陣列結構中,可添加優(yōu)化過的功能來減少面積和提高目標應用的性能,可使eFPGA的性能得到極大的提高,特別是對嵌入式視覺和圖像處理算法非常有效。

用自定義單元塊來成功地解決高性能圖像處理就是一個很好的例子,在實現(xiàn)您只看一次(YOLO)這一種使用了神經網絡的、最先進的、實時對象檢測算法時,可以優(yōu)于早期的方法大大提高性能。該算法依賴于大量的矩陣乘法器,而在FPGA中實現(xiàn)時,這些矩陣乘法器需要使用DSP和RAM模塊來構建;YOLO所需要的DSP和RAM模塊之間的最佳配置,與一個典型的FPGA陣列結構中發(fā)現(xiàn)的不匹配之處就會出現(xiàn)問題。例如,F(xiàn)PGA陣列結構可能提供18×27乘法/累加單元塊和32×128 RAM的DSP單元塊,而此時的最佳解決方案可能是帶有48×1024 RAM的16×8 DSP單元塊。通過創(chuàng)建實現(xiàn)最佳DSP和RAM模塊配置的定制單元塊,所得到的Speedcore陣列結構所使用的芯片面積就會減少40%,來實現(xiàn)相同的功能并且能獲得更高級別的系統(tǒng)性能。

在SoC中嵌入FPGA陣列結構提供了兩個額外的系統(tǒng)級好處:

更低的功耗 - 可編程I / O電路占獨立FPGA芯片總功耗的一半,而一個eFPGA可以與主控SoC中的其他模塊直接內部線路連接,完全不需要大型可編程I / O緩沖器。

更低的系統(tǒng)成本 - 由于eFPGA只需實現(xiàn)特定功能,eFPGA的裸片尺寸遠小于等效的獨立FPGA芯片,這是因為eFPGA不再需要可編程的I / O緩沖器和不必要的接口邏輯。

借助超低延遲和實時處理功能,可以有效實現(xiàn)基于360°視域的視覺系統(tǒng),具有定制單元塊的Speedcore eFPGA與同一主控SoC中的一個CPU配合使用,非常適合去實現(xiàn)專用功能,如目標檢測和圖像識別、變形和失真校正、以及最后將最終圖像拼接在一起。在SoC中嵌入FPGA陣列結構是超深亞微米時代系統(tǒng)集成的一個自然發(fā)展過程。

本站聲明: 本文章由作者或相關機構授權發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內容真實性等。需要轉載請聯(lián)系該專欄作者,如若文章內容侵犯您的權益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或將催生出更大的獨角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數字化轉型技術解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關鍵字: AWS AN BSP 數字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術公司SODA.Auto推出其旗艦產品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關鍵字: 汽車 人工智能 智能驅動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務中斷的風險,如企業(yè)系統(tǒng)復雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務連續(xù)性,提升韌性,成...

關鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據媒體報道,騰訊和網易近期正在縮減他們對日本游戲市場的投資。

關鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數據產業(yè)博覽會開幕式在貴陽舉行,華為董事、質量流程IT總裁陶景文發(fā)表了演講。

關鍵字: 華為 12nm EDA 半導體

8月28日消息,在2024中國國際大數據產業(yè)博覽會上,華為常務董事、華為云CEO張平安發(fā)表演講稱,數字世界的話語權最終是由生態(tài)的繁榮決定的。

關鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應對環(huán)境變化,經營業(yè)績穩(wěn)中有升 落實提質增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務引領增長 以科技創(chuàng)新為引領,提升企業(yè)核心競爭力 堅持高質量發(fā)展策略,塑強核心競爭優(yōu)勢...

關鍵字: 通信 BSP 電信運營商 數字經濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術學會聯(lián)合牽頭組建的NVI技術創(chuàng)新聯(lián)盟在BIRTV2024超高清全產業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術創(chuàng)新聯(lián)...

關鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關鍵字: BSP 信息技術
關閉
關閉