雙目視覺ADAS芯片-S32V234
S32V234采用了4顆ARM Cortex A53作為核心CPU,以獲得更高的性能功耗比。利用一顆ARM Cortex M4作為片上MCU,用于關(guān)鍵IO(如CAN-FD)的實時控制,并支持AutoSAR操作系統(tǒng)。芯片內(nèi)部包含可編程的圖像信號處理器(ISP),所以配搭的圖像傳感器可以輸出raw data,從而降低物料成本,節(jié)省空間尺寸。
另外,芯片還包含了兩個名為APEX2CL的視覺加速引擎。每個APEX2CL擁有64個本地計算單元(CU),并配有本地內(nèi)存和專用DMA,通過SIMD/MIMD(單指令多數(shù)據(jù)/多指令多數(shù)據(jù))方式對圖像識別過程進(jìn)行加速。
另外值得指出的是,考慮到ADAS系統(tǒng)對安全性和可靠性的嚴(yán)苛需求,S32V234在設(shè)計時加入了諸如ECC(錯誤檢查與糾正),F(xiàn)CCU(故障收集與控制單元),M/L BIST(內(nèi)存/邏輯內(nèi)置自測)等多種安全機制,能夠滿足ISO26262 ASIL B~C的需求。
雙目視覺ADAS的優(yōu)勢
相比于單目視覺,雙目視覺(Stereo Vision)的關(guān)鍵區(qū)別在于可以利用雙攝像頭從不同角度對同一目標(biāo)成像,從而獲取視差信息,推算目標(biāo)距離。具體到視覺ADAS應(yīng)用來說,如果采用單目攝像頭,為了識別行人和車輛等目標(biāo),通常需要大規(guī)模的數(shù)據(jù)采集和訓(xùn)練來完成機器學(xué)習(xí)算法,并且難以識別不規(guī)則物體;而利用毫米波雷達(dá)和激光雷達(dá)進(jìn)行測距的精度雖然較高,但是成本和難度亦較高。
雙目視覺的最大優(yōu)勢在于維持開發(fā)成本較低的前提下,實現(xiàn)一定精度的目標(biāo)識別和測距,完成FCW(前方碰撞預(yù)警)等ADAS功能。
雙目視覺測距的基本原理如圖2所示:目標(biāo)點P在兩個相機中的視差為d=EC+DF,根據(jù)三角形的相似性,推導(dǎo)可得距離z=(fq)/d。其中焦距f和相機光軸距離q可認(rèn)為是固定參數(shù),所以求出視差信號d即可求得距離z。
雙目視覺的測距步驟
相機標(biāo)定
圖像獲取
圖像預(yù)處理
特征提取與立體匹配
三維重構(gòu)
其中,相機標(biāo)定是為了得到相機的內(nèi)外參數(shù)和畸變系數(shù)等,可以離線進(jìn)行;而左右相機圖像獲取的同步性,圖像預(yù)處理的質(zhì)量和一致性,以及立體匹配(獲取視差信息)和三維重構(gòu)(獲取距離信息)算法的實時性要求帶來的巨大運算量,對在嵌入式平臺上實現(xiàn)雙目視覺ADAS提出了挑戰(zhàn)。