雙目視覺ADAS芯片-S32V234
S32V234采用了4顆ARM Cortex A53作為核心CPU,以獲得更高的性能功耗比。利用一顆ARM Cortex M4作為片上MCU,用于關鍵IO(如CAN-FD)的實時控制,并支持AutoSAR操作系統(tǒng)。芯片內(nèi)部包含可編程的圖像信號處理器(ISP),所以配搭的圖像傳感器可以輸出raw data,從而降低物料成本,節(jié)省空間尺寸。
另外,芯片還包含了兩個名為APEX2CL的視覺加速引擎。每個APEX2CL擁有64個本地計算單元(CU),并配有本地內(nèi)存和專用DMA,通過SIMD/MIMD(單指令多數(shù)據(jù)/多指令多數(shù)據(jù))方式對圖像識別過程進行加速。
另外值得指出的是,考慮到ADAS系統(tǒng)對安全性和可靠性的嚴苛需求,S32V234在設計時加入了諸如ECC(錯誤檢查與糾正),F(xiàn)CCU(故障收集與控制單元),M/L BIST(內(nèi)存/邏輯內(nèi)置自測)等多種安全機制,能夠滿足ISO26262 ASIL B~C的需求。
雙目視覺ADAS的優(yōu)勢
相比于單目視覺,雙目視覺(Stereo Vision)的關鍵區(qū)別在于可以利用雙攝像頭從不同角度對同一目標成像,從而獲取視差信息,推算目標距離。具體到視覺ADAS應用來說,如果采用單目攝像頭,為了識別行人和車輛等目標,通常需要大規(guī)模的數(shù)據(jù)采集和訓練來完成機器學習算法,并且難以識別不規(guī)則物體;而利用毫米波雷達和激光雷達進行測距的精度雖然較高,但是成本和難度亦較高。
雙目視覺的最大優(yōu)勢在于維持開發(fā)成本較低的前提下,實現(xiàn)一定精度的目標識別和測距,完成FCW(前方碰撞預警)等ADAS功能。
雙目視覺測距的基本原理如圖2所示:目標點P在兩個相機中的視差為d=EC+DF,根據(jù)三角形的相似性,推導可得距離z=(fq)/d。其中焦距f和相機光軸距離q可認為是固定參數(shù),所以求出視差信號d即可求得距離z。
雙目視覺的測距步驟
相機標定
圖像獲取
圖像預處理
特征提取與立體匹配
三維重構
其中,相機標定是為了得到相機的內(nèi)外參數(shù)和畸變系數(shù)等,可以離線進行;而左右相機圖像獲取的同步性,圖像預處理的質(zhì)量和一致性,以及立體匹配(獲取視差信息)和三維重構(獲取距離信息)算法的實時性要求帶來的巨大運算量,對在嵌入式平臺上實現(xiàn)雙目視覺ADAS提出了挑戰(zhàn)。