自動駕駛汽車的處理能力

作者：Imagination Technologies汽車應(yīng)用總監(jiān)Bryce Johnstone

在未來20 - 30年中，自動駕駛汽車(AV)將改變我們的駕駛習(xí)慣、運(yùn)輸行業(yè)并更廣泛地影響社會。 我們不僅能夠?qū)⑵囌賳镜轿覀兊募议T口并在使用后將其送走，自動駕駛汽車還將挑戰(zhàn)個人擁有汽車的想法，并對環(huán)境和擁堵產(chǎn)生積極影響。市場調(diào)研公司ABI Research預(yù)測：到2030年，道路上四分之一的汽車將會是自動駕駛汽車。

行業(yè)專家已經(jīng)為自動駕駛的發(fā)展定義了五個級別。 每個級別分別描述了汽車從駕駛員那里接管各項任務(wù)和責(zé)任的程度，以及汽車和駕駛員之間如何互動。 諸如自適應(yīng)巡航控制這類功能是先進(jìn)駕駛員輔助系統(tǒng)(ADAS)的示例，并且可以被認(rèn)為是第1級的能力。 目前，市場上出現(xiàn)的一些新車正在實現(xiàn)第2級功能;但作為一個行業(yè)，我們僅僅是才觸及ADAS系統(tǒng)的表面，更不用說完全自主駕駛了。

示意圖：自動駕駛的五個級別

自動駕駛的級別

當(dāng)我們?nèi)ブ鸺墝崿F(xiàn)自動駕駛的不同級別時，處理能力對于實現(xiàn)完全自動化這一愿景至關(guān)重要，此時駕駛員可以“放開方向盤、移開目光和放飛心靈”。 在這個級別上，車內(nèi)的人只是乘客;同時因為沒有司機(jī)，所以也不需要方向盤。 然而，在我們實現(xiàn)該目標(biāo)之前，我們應(yīng)該首先了解從非自動駕駛到完全自動駕駛之間的各種級別。

ADAS/AV有三個主要元素：傳感、計算和執(zhí)行。

用感知去捕捉車輛周圍環(huán)境的現(xiàn)狀。 這是靠使用一組傳感器來完成的：雷達(dá)(長距離和中距離)，激光雷達(dá)(長距離)，攝像頭(短距離/中距離)，以及紅外線和超聲波。 這些“感官”中的每一種都能捕捉到它所“看到”的周圍環(huán)境的變體。 它在此視圖中定位感興趣的和重要的對象，例如汽車、行人、道路標(biāo)識、動物和道路拐彎。

示意圖：汽車從激光雷達(dá)、雷達(dá)和攝像頭中看到的視圖

計算階段是決策階段。 在這個階段中，來自這些不同視圖的信息被拼合在一起，以更好地理解汽車“看到”的內(nèi)容。 例如，場景中到底發(fā)生了什么? 移動物體在哪里? 預(yù)計的動作是什么?以及汽車應(yīng)該采取哪些修正措施? 是否需要制動和/或是否需要轉(zhuǎn)入另一條車道以確保安全?

執(zhí)行即最后階段是汽車應(yīng)用這一決策并采取行動，汽車可能會取代駕駛員。 它可能是制動、加速或轉(zhuǎn)向更安全的路徑;這可能是因為駕駛員沒有注意到警告，及時采取行動并且即將發(fā)生碰撞，或者它可能是完全自主系統(tǒng)的標(biāo)準(zhǔn)操作。

第2級實際上是ADAS路徑的起點(diǎn)，其中可能在安全解決方案包中制定多種單獨(dú)的功能，例如自動緊急制動、車道偏離警告或輔助保持在車道中行駛。

第3級是諸如2018款奧迪A8等目前已量產(chǎn)汽車的最前沿，這意味著駕駛員可以“移開目光”一段時間，但必須能夠在出現(xiàn)問題時立即接管。

第4級和第5級兩者都可提供基本上是完全的自動駕駛。 它們之間的區(qū)別在于：第4級駕駛將限于諸如主要高速公路和智慧城市這樣的具有地理緩沖的區(qū)域，因為它們會重度依靠路邊的基礎(chǔ)設(shè)施來維持其所在位置的毫米級精度畫面。

第5級車輛將可在任何地點(diǎn)實現(xiàn)自動駕駛。在這個級別，汽車甚至可能沒有方向盤，并且座椅可以不是都面向前方。

自動駕駛所需的處理能力

在自動駕駛的每個級別上，應(yīng)對所有數(shù)據(jù)所需的處理能力隨級別的提升而迅速增加。根據(jù)經(jīng)驗，可以預(yù)計從一個級別到下一個級別的數(shù)據(jù)處理量將增加10倍。 對于完全自動駕駛的第4級和第5級，我們將看到數(shù)十萬億次浮點(diǎn)運(yùn)算的處理量。

從傳感器的角度來看，下表為您提供了其需求量的一個指引。 第4級和第5級將需要多達(dá)八個攝像頭，盡管人們甚至已經(jīng)提出了需要更高的攝像頭數(shù)量。 圖像捕獲裝置的分辨率為2百萬像素，幀速為30-60幀/秒，所以要實時處理所有這些信息是一項巨大的處理任務(wù)。對于車上的雷達(dá)，其數(shù)量可能需要多達(dá)10臺以上，這是因為需要在22GHz和77GHz之間搭配使用短距離、中距離和長距離(100m 以上)的雷達(dá)。即使在第2級，仍然需要對從攝像頭和雷達(dá)捕獲的數(shù)據(jù)進(jìn)行大量處理。

示意圖：自動駕駛和應(yīng)用的不同級別

對于處理能力，我們將關(guān)注攝像頭需要做什么，這是因為它與前置雷達(dá)一起是支撐諸如在特斯拉中使用的自動駕駛儀的主要傳感器。

攝像頭系統(tǒng)通常是廣角單攝或立體雙攝，在車上呈前向或以環(huán)繞視場(360°)配置。 與雷達(dá)和激光雷達(dá)不同，攝像頭感應(yīng)設(shè)備取決于處理輸入的軟件的功能;攝像頭的分辨率很重要，但沒有達(dá)到你想象的程度。

為簡化處理過程，我們使用了一種被稱為卷積神經(jīng)網(wǎng)絡(luò)(CNN)的重要算法。CNN是從攝像頭源中提取和分辨信息的一種高度專業(yè)化和高效的方法。在我們的汽車案例中，它從攝像頭獲取輸入并識別車道標(biāo)記、障礙物和動物等。CNN不僅能夠完成雷達(dá)和激光雷達(dá)所能做的所有事情，而且能夠在更多方面發(fā)揮作用，例如閱讀交通標(biāo)識、檢測交通燈信號和道路的組成等。事實上，某些一級供應(yīng)商(Tier 1)和汽車原始設(shè)備制造商(OEM)正在研究通過攝像頭和雷達(dá)組合來降低成本。

CNN將機(jī)器學(xué)習(xí)的元素帶入汽車。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)都普遍基于我們自己大腦的連線結(jié)構(gòu)。人們首先必須選擇想要實現(xiàn)的網(wǎng)絡(luò)類型，以及其按照層數(shù)來決定的深度。 每層實際上是前一層和后一層之間的一組互連節(jié)點(diǎn)。為了實現(xiàn)神經(jīng)網(wǎng)絡(luò)，大量的智能訓(xùn)練數(shù)據(jù)將被應(yīng)用于它;這是一種高度計算密集型的操作，大多數(shù)情況下是離線進(jìn)行的。對于諸如一種道路情況的圖像和視頻這樣的每一次通過，網(wǎng)絡(luò)通過調(diào)整各層內(nèi)的相關(guān)因素來進(jìn)行學(xué)習(xí)。當(dāng)訓(xùn)練數(shù)據(jù)通過它時，這些相關(guān)因素可以從數(shù)百萬次數(shù)據(jù)分析中得到提升。 一旦完成訓(xùn)練，就可以將網(wǎng)絡(luò)和相關(guān)因素加載到諸如CPU或GPU計算或特定CNN加速器之類的結(jié)構(gòu)中。

這種類型的算法和網(wǎng)絡(luò)的優(yōu)點(diǎn)之一是它可以用更新的或更好的相關(guān)因素去升級，因此它總是在不斷改進(jìn)。經(jīng)過廣泛的比較，我們發(fā)現(xiàn)在GPU計算模式上運(yùn)行的CNN比在當(dāng)前高端嵌入式多核CPU上快20倍且功耗也低得多。同樣，伴隨著CNN向硬件加速方向發(fā)展，我們也已看到性能還可進(jìn)一步提高20倍，而且在功耗上也可進(jìn)一步改善。

展望未來

隨著我們走向采用無人駕駛汽車的未來，所需的計算能力將隨著傳感器的數(shù)量、幀速和分辨率而擴(kuò)展。從性能和功率兩個角度來看，卷積神經(jīng)網(wǎng)絡(luò)正在成為解釋圖像數(shù)據(jù)的最有效方式。 這將引領(lǐng)在網(wǎng)絡(luò)的邊緣放置更多處理資源的趨勢，例如在汽車案例中，計算資源是在汽車自身內(nèi)部，而不是將該處理能力卸載到云并且依賴于始終在線的蜂窩連接。 對于那些提供處理能力、算法和訓(xùn)練數(shù)據(jù)的人來說，自動駕駛潛藏著巨大的機(jī)會并將成為現(xiàn)實。