英偉達(dá)的端對(duì)端技術(shù)自動(dòng)駕駛技術(shù)？那是個(gè)啥？

 英偉達(dá)是一家美國(guó)技術(shù)公司。他們的主要產(chǎn)品是用于游戲市場(chǎng)的圖形處理器(GPU)，以及用于移動(dòng)計(jì)算和汽車(chē)市場(chǎng)的片上系統(tǒng)(SoC)。但是，最近其公司方向隨著GPU在人工智能領(lǐng)域計(jì)算優(yōu)勢(shì)的到來(lái)正發(fā)生著一個(gè)較大的變化。GPU現(xiàn)在正扮演著計(jì)算機(jī)、機(jī)器人和自動(dòng)駕駛汽車(chē)這些能夠察覺(jué)和理解世界的設(shè)備的大腦。目前，英偉達(dá)正以“人工智能計(jì)算公司”的身份迅速為大眾所知。

為了使新的聲譽(yù)實(shí)至名歸，英偉達(dá)正在人工智能計(jì)算研究中投入大量精力。去年，英偉達(dá)與紐約大學(xué)的深度學(xué)習(xí)團(tuán)隊(duì)合作，并在新澤西的新汽車(chē)技術(shù)辦公室開(kāi)展研究合作[2]。這個(gè)團(tuán)隊(duì)包括技術(shù)專家如 Urs Muller，英偉達(dá)的自動(dòng)駕駛首席架構(gòu)師、紐約大學(xué)教授 Yann LeCun，一位深度學(xué)習(xí)技術(shù)的先驅(qū)和學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的發(fā)明者，以及英偉達(dá)的機(jī)器學(xué)習(xí)顧問(wèn)和前DARPA項(xiàng)目經(jīng)理 Larry Jackel。所有這些人聚在一起，他們將超越英偉達(dá)當(dāng)前的技術(shù)和工程，創(chuàng)建開(kāi)創(chuàng)性的自動(dòng)駕駛技術(shù)。

在講座期間，Larry 分享了一些關(guān)于他作為人工智能研究人員的生活經(jīng)歷。早在1986年，當(dāng)他還在貝爾實(shí)驗(yàn)室工作時(shí)，當(dāng)時(shí)的人工智能技術(shù)非常原始，循環(huán)網(wǎng)絡(luò)很呆板和低效率。 1988年，Yann LeCun 加入他們并建立了第一個(gè)具有學(xué)習(xí)功能的 “LeNet” OCR 引擎。它的表現(xiàn)很出色，但他們?nèi)匀粵](méi)有系統(tǒng)性的理解究竟是什么決定了學(xué)習(xí)過(guò)程。 “這真的是深度學(xué)習(xí)開(kāi)始的地方，” Larry Jackel 說(shuō)。后來(lái)，在20世紀(jì)90年代初，在 Vladimir Vapnik 的幫助下，團(tuán)隊(duì)對(duì)學(xué)習(xí)的過(guò)程及其應(yīng)用獲得了更好的理解。

Larry也分享了一些過(guò)往的有趣故事，像他和 Vapnik 打的賭。

圖1 Larry 和 Vapnik 的賭注

圖2 1995年賭注的結(jié)果

從圖片中，我們可以看到，這些賭注都投射出了深度學(xué)習(xí)發(fā)展方式的影子。神經(jīng)網(wǎng)絡(luò)在它第一次被創(chuàng)建的幾十年后仍然相當(dāng)流行。

2016年6月：英偉達(dá)自動(dòng)駕駛汽車(chē)的端對(duì)端學(xué)習(xí)

如前所述，Larry 是前 DARPA 項(xiàng)目經(jīng)理。有很多 DARPA 的挑戰(zhàn)，如沙漠駕駛的大挑戰(zhàn)(2003，2005)，DARPA城市挑戰(zhàn)(2007)和 DARPA 機(jī)器人挑戰(zhàn)(2015)。城市挑戰(zhàn)與自動(dòng)駕駛的研究直接相關(guān)，卡內(nèi)基梅隆大學(xué)(CMU)最終獲勝，其方法成為了許多自動(dòng)駕駛設(shè)計(jì)的核心。它需要高清映射，障礙物檢測(cè)，成本地圖和路徑規(guī)劃。雖然卡內(nèi)基梅隆大學(xué)的表現(xiàn)在當(dāng)時(shí)相當(dāng)搶眼，但它是在一個(gè)有非常詳實(shí)數(shù)據(jù)的路徑上行駛的，因此那時(shí)距離真正的自動(dòng)駕駛?cè)匀挥泻荛L(zhǎng)的路要走。

Larry 提供了一個(gè)自動(dòng)駕駛汽車(chē)通常方法的流程圖。從傳感器開(kāi)始，然后移動(dòng)到特征提取和物體識(shí)別(通常結(jié)合使用卷積網(wǎng)絡(luò))，然后數(shù)據(jù)進(jìn)行成本映射，并且通過(guò)使用詳細(xì)的地圖來(lái)幫助定位汽車(chē)的位置。這些合在一起，定位的位置和成本圖將提供路徑規(guī)劃和驅(qū)動(dòng)所需的輸入。

圖3 自駕駛汽車(chē)常用方法流程圖

雖然，在 Yann 的幫助下，Larry 在 DARPA 時(shí)采用這種類型的方法，但它最終演變成了端對(duì)端學(xué)習(xí)。端對(duì)端學(xué)習(xí)是一種 卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network)的結(jié)構(gòu)，直接將前置攝像頭和轉(zhuǎn)向命令連接起來(lái)，以幫助訓(xùn)練自駕駛汽車(chē)使其駕駛得更聰明和更自主化。通過(guò)使用三個(gè)攝像機(jī)，系統(tǒng)可以看到駕駛員的所見(jiàn)所為，然后記錄下這個(gè)場(chǎng)景、駕駛員的命令以及周?chē)h(huán)境。通過(guò)使用該數(shù)據(jù)，系統(tǒng)接下來(lái)可以計(jì)算出一個(gè)理想的駕駛策略以實(shí)現(xiàn)完全自主的自駕駛。

Larry 解釋說(shuō)，在三個(gè)攝像機(jī)中，主攝像機(jī)具有駕駛員的視野，側(cè)攝像機(jī)有助于訓(xùn)練和內(nèi)插角度。在駕駛時(shí)，網(wǎng)絡(luò)將首先作出決定，將其與人類駕駛員的決定進(jìn)行比較，然后調(diào)整自身并且一次次重復(fù)該過(guò)程。研究團(tuán)隊(duì)還引入了側(cè)攝像機(jī)的隨機(jī)移動(dòng)旋轉(zhuǎn)，不是因?yàn)樗兄谟?xùn)練，而是因?yàn)闆](méi)有這種設(shè)置，駕駛方向?qū)⒉缓闲枰仄保夯蛘哒f(shuō)，汽車(chē)可能行駛得太接近車(chē)道的邊緣。

圖4 端對(duì)端學(xué)習(xí)系統(tǒng)的流程圖

為了避免不必要的開(kāi)銷(xiāo)，學(xué)習(xí)系統(tǒng)可以在模擬器中檢查各種事情(策略、情景)，然后將其應(yīng)用于道路上。通過(guò)將預(yù)先記錄的測(cè)試視頻和駕駛指令的庫(kù)饋送到網(wǎng)絡(luò)中以及構(gòu)建輸出命令網(wǎng)，系統(tǒng)可以使用它來(lái)更新汽車(chē)的位置信息，然后由數(shù)據(jù)庫(kù)創(chuàng)建計(jì)算框架。 英偉達(dá)的GPU在所有的訓(xùn)練過(guò)程里發(fā)揮著至關(guān)重要的作用。

更多的細(xì)節(jié)可以在論文中找到：自動(dòng)駕駛汽車(chē)的端對(duì)端學(xué)習(xí)。 [3]

在講座結(jié)束時(shí)，觀眾也提出了一些有趣的問(wèn)題。一個(gè)人問(wèn)為什么英偉達(dá)從所有類型的傳感器中選了攝像頭，而不是激光雷達(dá)或者其它選擇。Larry 的回答是，在駕駛時(shí)，激光雷達(dá)掃描可以在一秒鐘獲得一百萬(wàn)點(diǎn)(如果幸運(yùn))，但相機(jī)可以一次快照獲得超過(guò)30倍數(shù)據(jù)。相機(jī)也比激光雷達(dá)傳感器便宜得多。但 Larry 也提到當(dāng)前的設(shè)計(jì)不是最終的，任何能有助于駕駛系統(tǒng)的事情都會(huì)被考慮。

在2016年CES大會(huì)上，英偉達(dá)推出了用于自主交通的人工智能超級(jí)計(jì)算機(jī)Xavier。 Larry提到這個(gè)超級(jí)計(jì)算機(jī)將在今年晚些時(shí)候推出，而且英偉達(dá)對(duì)Xavier的表現(xiàn)非常有信心。在未來(lái)，不僅研究人員，而且客戶也可能有機(jī)會(huì)體驗(yàn)英偉達(dá)的解決方案。

源自英偉達(dá)的人工智能計(jì)算領(lǐng)導(dǎo)力

隨著英偉達(dá)繼續(xù)將自己定義為一個(gè)人工智能計(jì)算公司，自動(dòng)駕駛汽車(chē)并不是他們唯一的機(jī)器學(xué)習(xí)項(xiàng)目。 英偉達(dá)的CEO Jen-Hsun Huang 在 CES 2016 上宣布了其他與人工智能相關(guān)的產(chǎn)品：Geforce Now —— 一款游戲云，個(gè)人通過(guò)使用瀏覽器，可以在低規(guī)格計(jì)算機(jī)上播放高清游戲;新盾(new shield) —— 一家庭娛樂(lè)平臺(tái);Nvidia spot —— 一個(gè)使你家里所有的小電器自主化的工具。正如 Jen-Hsun Huang 在 CES 上所解釋的，英偉達(dá)將專注于四個(gè)領(lǐng)域：視頻游戲、VR / AR / MR、云計(jì)算/數(shù)據(jù)中心和自動(dòng)駕駛。

英偉達(dá)還在人工智能教育方面付出了很多努力：GPU教學(xué)計(jì)劃和免費(fèi)的CUDA源代碼(GPU并行編程語(yǔ)言)。就在最近的2月5日，英偉達(dá)推出了一系列基于其 Pascal? 架構(gòu)的 Quadro? 產(chǎn)品，運(yùn)用來(lái)自多產(chǎn)業(yè)專業(yè)工作流程的突破性能力，將桌面工作站轉(zhuǎn)變?yōu)槌?jí)計(jì)算機(jī)