視覺(jué)系統(tǒng)在當(dāng)代汽車中得到進(jìn)一步應(yīng)用
根據(jù)美國(guó)國(guó)家公路交通安全管理局(NHTSA)的數(shù)據(jù),每輛在路上運(yùn)動(dòng)中的車輛都包含一個(gè)危險(xiǎn)部件,即位于車輪后方的人員。NHTSA對(duì)2,189,000起道路交通事故進(jìn)行了詳細(xì)調(diào)查,得出的結(jié)論是其中94%(2,046,000)是由于司機(jī)的過(guò)錯(cuò)。最常見(jiàn)的駕駛員出錯(cuò)(識(shí)別錯(cuò)誤)是由于缺乏關(guān)注,或駕駛員以某種方式分心,這些因素共占駕駛員導(dǎo)致事故的41%。道路使用者的安全非常重要,考慮到這一點(diǎn),世界領(lǐng)先的汽車品牌正在不斷為他們的汽車增加新功能,以協(xié)助司機(jī)進(jìn)行更安全的駕駛,或者開(kāi)發(fā)更先進(jìn)的系統(tǒng)。從長(zhǎng)遠(yuǎn)來(lái)看,這些先進(jìn)的系統(tǒng)將使駕駛不再完全依賴司機(jī)。
駕駛員最重要的任務(wù)之一是觀察周圍環(huán)境并做出相應(yīng)的反應(yīng),通常是調(diào)整速度或方向。要做到這一點(diǎn),駕駛員必須要知道很多事情,包括實(shí)際的障礙物、潛在的障礙物、速度限制、其他形式的道路標(biāo)志和天氣狀況等等。如果車輛是為了幫助司機(jī)駕駛,并最終通過(guò)自動(dòng)駕駛承擔(dān)全部責(zé)任,那么它必須具有至少與人類相當(dāng)?shù)哪軌蛲瓿蛇@些任務(wù)的能力。
隨著汽車制造商實(shí)施先進(jìn)駕駛員輔助系統(tǒng)(ADAS),各種類型的傳感器現(xiàn)在都已經(jīng)被整合到車輛設(shè)計(jì),用以提供車輛所需的支持?jǐn)?shù)據(jù),其中基于視覺(jué)的傳感技術(shù)發(fā)展最快,已經(jīng)超越簡(jiǎn)單的倒車攝像頭,能夠提供強(qiáng)大而高效的成像解決方案。
重要的汽車攝像頭應(yīng)用
前向攝像頭已經(jīng)開(kāi)始受到市場(chǎng)的廣泛采用,這不僅體現(xiàn)在高端汽車,同樣也出現(xiàn)在中檔汽車車型。前向攝像頭結(jié)合適當(dāng)?shù)膱D像處理軟件,可以檢測(cè)到前方障礙物,并且能夠?qū)⑵漶詈系椒较虮P(pán)傳感器,因而系統(tǒng)可以確定障礙物是否在車輛的軌跡之內(nèi)。更先進(jìn)的系統(tǒng)甚至可以繪制行人的軌跡,進(jìn)而確定它是否可能與車輛的路徑相交叉,并預(yù)先處理以避免事故的發(fā)生。之后,車輛ADAS可以做出許多響應(yīng),包括從簡(jiǎn)單的警告到采取規(guī)避動(dòng)作,具體取決于其復(fù)雜程度。
然而,視覺(jué)系統(tǒng)遠(yuǎn)不僅限于前向攝像頭。許多高端車型現(xiàn)在已經(jīng)配備有多個(gè)攝像頭,因此在機(jī)動(dòng)時(shí)可以對(duì)車輛周圍360度全方位觀察。雖然這些攝像頭可以防止發(fā)生輕微但仍然是代價(jià)昂貴的“碰撞”,但它們的真正價(jià)值在于能夠識(shí)別在駕駛員注意不到的情況下靠近車輛的寵物或小孩等等。
如果沒(méi)有遵守公布的速度限制,貌似最多可能導(dǎo)致巨額罰單。但是,這也可能會(huì)導(dǎo)致更嚴(yán)重的后果,例如造成人身傷害的重大事故,甚至更嚴(yán)重的情況造成生命死亡事故。當(dāng)今的視覺(jué)系統(tǒng)使用現(xiàn)有的前向攝像頭或者專用攝像頭來(lái)識(shí)別和讀取路邊的速度標(biāo)志,車輛對(duì)于限速標(biāo)志的響應(yīng)可能是在駕駛員的視線中再現(xiàn)這些標(biāo)志,如果超過(guò)速度限制則發(fā)出聲音警報(bào);或者是限制車輛的速度以便始終遵守這些速度限制。
照明技術(shù)的發(fā)展已經(jīng)促使從傳統(tǒng)燈具轉(zhuǎn)向LED燈照明,無(wú)論是街道照明還是車輛前大燈都是如此,閃爍已經(jīng)成為視覺(jué)系統(tǒng)的挑戰(zhàn)。由于人類視覺(jué)的持續(xù)性,閃爍對(duì)于駕駛員來(lái)說(shuō)并不明顯,但是它可以在周期性捕獲的圖像上則顯示為暗帶(dark bands),使得字符識(shí)別(例如限速標(biāo)志上的數(shù)字)變得更加困難。先進(jìn)的圖像捕獲算法幾乎可以瞬時(shí)獲取多個(gè)圖像,并將這些圖像合并,以提供可以準(zhǔn)確讀取的高質(zhì)量合成圖像。這種技術(shù)通常稱為閃爍緩解(flicker mitigation),現(xiàn)在已被用于領(lǐng)先的汽車圖像傳感器。
攝像頭不僅適用于車外,也可用于車內(nèi)。由于駕駛員在車輛控制中發(fā)揮著重要作用(至少目前是這樣),需要成像技術(shù)來(lái)監(jiān)控駕駛員自身,這樣可確保駕駛員準(zhǔn)備好,并對(duì)即將發(fā)生的情況做出快速反應(yīng)。如果駕駛員沒(méi)有做好準(zhǔn)備,ADAS可以進(jìn)行干預(yù)。攝像頭將持續(xù)監(jiān)測(cè)駕駛員的面部和頭部位置,并通過(guò)人工智能(AI),確認(rèn)駕駛員檢查反射鏡的頻率,來(lái)評(píng)估司機(jī)的困倦程度以及交通注意力。如果駕駛員變得不專心或明顯疲倦,可以給出提醒或建議休息時(shí)間。這種監(jiān)控還可用于測(cè)量前排乘客人員的高度和體型大小,以在發(fā)生可能的碰撞時(shí)實(shí)現(xiàn)適當(dāng)?shù)陌踩珰饽艺归_(kāi)。
用于監(jiān)測(cè)駕駛員的攝像頭也可以增加許多其他便利。簡(jiǎn)單的人臉識(shí)別軟件可以識(shí)別駕駛員,并將駕駛室偏好(包括座椅位置、方向盤(pán)位置、后視鏡和駕駛室溫度)設(shè)置為預(yù)先配置的值,從而使駕駛環(huán)境更加舒適。另外,成像通常也可應(yīng)用于監(jiān)測(cè)車輛其他乘員,例如可以檢查他們是否感到舒適,如果沒(méi)有達(dá)到舒適程度則調(diào)整空調(diào)系統(tǒng)。
汽車視覺(jué)技術(shù)
在技術(shù)領(lǐng)域,幾乎所有都在保持不斷變化,而汽車行業(yè)中不斷發(fā)展的視覺(jué)傳感硬件(和附帶的軟件)尤其如此。隨著車載通信技術(shù)從CAN總線遷移到汽車以太網(wǎng),可以實(shí)現(xiàn)更高速度的幀率和更高分辨率視頻,從而能夠提高圖像質(zhì)量,并提供更高的安全性。
圖1:安森美半導(dǎo)體的AR140AT圖像傳感器。
目前最具吸引力的汽車圖像傳感器之一是安森美半導(dǎo)體(ON Semiconductor)的AR140AT,這是一款1/4英寸100萬(wàn)像素CMOS器件,有源像素陣列為1280x800。它專門(mén)針對(duì)光線不足的駕駛條件進(jìn)行了優(yōu)化,可提供高動(dòng)態(tài)范圍(HDR)模式,并具有滾動(dòng)快門(mén)(rolling-shutter)讀數(shù)。AR140AT在靜止模式和視頻模式(60fps)下都能產(chǎn)生非常清晰銳利的數(shù)字圖像,它還集成有像素內(nèi)合并(in-pixel binning)和窗口化等下一代攝像頭功能,完全符合AEC-Q100標(biāo)準(zhǔn)(并且支持PPAP)。
由于當(dāng)代汽車更加依賴于ADAS系統(tǒng),該技術(shù)的安全性是設(shè)計(jì)人員的首要考慮因素。FS32V234包含一個(gè)帶有16kB片上安全RAM和ROM的CSE,以及一個(gè)系統(tǒng)級(jí)JTAG控制器,可以支持ARM的安全TrustZone架構(gòu)。該器件支持用于功能安全的ISO 26262汽車安全集成等級(jí)(ASIL),并可提供安全手冊(cè)和完整的FMEDA報(bào)告。通過(guò)提供FD-CAN和FlexRay接口,可簡(jiǎn)化與當(dāng)今車輛ADAS基礎(chǔ)設(shè)施的集成。
用于車輛控制的視覺(jué)技術(shù)
車輛視覺(jué)系統(tǒng)正在不斷擴(kuò)展到其他創(chuàng)新應(yīng)用。隨著汽車制造商尋求在車內(nèi)有限的空間內(nèi)為更復(fù)雜的車輛系統(tǒng)提供直觀的人機(jī)界面(HMI),以補(bǔ)充和改進(jìn)現(xiàn)有控制系統(tǒng),基于手勢(shì)的HMI允許駕駛員提供輸入命令,由于無(wú)需要求他們把目光從路上移開(kāi),因而不會(huì)在開(kāi)車時(shí)產(chǎn)生分心。
Melexis的全新芯片組基于時(shí)間飛行(ToF)技術(shù),可為3D視覺(jué)系統(tǒng)提供簡(jiǎn)單的模塊化設(shè)計(jì),適用于創(chuàng)建基于手勢(shì)的HMI。該芯片組包括MLX75023 1/3英寸光學(xué)格式ToF傳感器和MLX75123協(xié)同IC,其中包含開(kāi)發(fā)3D視覺(jué)解決方案所需的許多外部組件,Melexis還提供評(píng)估模塊。由于該芯片組具有高集成度,設(shè)計(jì)人員不再需要添加昂貴(且占用空間)的外部FPGA和ADC,從而能夠減小尺寸,降低設(shè)計(jì)和產(chǎn)品單價(jià),并縮短產(chǎn)品面市時(shí)間。
圖2:MLX75023 ToF評(píng)估板。
MLX75023 ToF傳感器采用了Melexis先進(jìn)的像素技術(shù),可提供HDR功能,適用于具有挑戰(zhàn)性的光線條件。 MLX75123協(xié)同芯片直接將傳感器IC連接到主機(jī)MCU,并提供快速的數(shù)據(jù)讀取。分離傳感器和協(xié)同(處理)芯片的模塊化設(shè)計(jì)意味著可以升級(jí)傳感器單元,而無(wú)需改變整個(gè)系統(tǒng)架構(gòu)。
總結(jié)
汽車行業(yè)正在將前所未有的大量技術(shù)添加到車輛,使其更經(jīng)濟(jì),更方便,最重要的是更安全。先進(jìn)的傳感器技術(shù)已經(jīng)通過(guò)ADAS等系統(tǒng)增強(qiáng)了駕駛員的駕駛能力,隨著技術(shù)的進(jìn)一步發(fā)展,自動(dòng)化駕駛系統(tǒng)最終將取代駕駛員。傳感器的種類也正在激增,通過(guò)傳感器融合,能夠確保這些傳感器協(xié)同工作,從而最終使車輛安全運(yùn)行。視覺(jué)技術(shù)是未來(lái)車輛的關(guān)鍵,許多中檔車型現(xiàn)在已經(jīng)集成有多個(gè)視覺(jué)傳感器,可以更詳盡地感知周圍的世界,閱讀路邊標(biāo)志,并監(jiān)測(cè)駕駛員。圖像傳感器也具有很多的分辨率級(jí)別,以便識(shí)別細(xì)節(jié),即使處在夜間駕駛或惡劣天氣中經(jīng)常遇到的低光照條件下,像素技術(shù)的進(jìn)步也能使視覺(jué)系統(tǒng)保持準(zhǔn)確的運(yùn)行。