隨著神經網絡的研究和應用越來越多，人們也越發(fā)地認識到神經網絡所需的計算力近乎于無底洞 。如果說高校實驗室和一般愛好者在耐心等待之外辦法不多的話，大公司們要面對的則是“做還是不做”的問題。
英特爾、英偉達、微軟、谷歌這幾年為了“做”，都有哪些舉動呢?紐約時報的這篇文章可以帶我們看看這一變化的梗概。
最近人們希望電腦能做的事情越來越多。電腦要跟人對話，要能認出人臉，也要能認出路邊的小花，再過不久還要給人類開車。所有這些人工智能都需要極高的計算能力，即便當下最先進的電腦也沒法隨隨便便完成。
為了能夠滿足高速增長的計算需求，一些科技巨頭們現在正從生物學中尋找靈感。他們正在重新思考電腦的本質，然后建造更像人類大腦的機器：神經系統(tǒng)里要有一個中央腦干，然后把聽、說這樣的具體任務交給周圍的大腦皮層去做。他們希望電腦也能這樣。
新時代的萌芽
在連續(xù)幾年的緩步發(fā)展以后，計算機終于又開始進化了，換上了新樣子的計算機會產生廣泛而持久的影響。它們能夠大大提高人工智能系統(tǒng)的運行速度，也許未來某一天“機器人可以統(tǒng)治世界”的夢想也可以成真。這種轉換也會削弱芯片巨頭英特爾的地位。從提供互聯網服務的數據中心、手里的iPhone到VR頭盔和無人機，所有科技產品的核心都是半導體芯片。隨著新型芯片的時代來臨，目前年產值三千億美元的半導體工業(yè)很可能會完全變個樣子。
現任谷歌母公司Alphabet董事的 John Hennessy 曾任斯坦福大學校長，1990年代他出版寫過一本計算機設計的權威著作。“這是一場巨大的變革，”他說，“現在的這一套做法馬上就要過時了，大家都想重新開發(fā)一套系統(tǒng)架構。”
現有的計算機架構也有過自己的好日子。在過去的接近五十年里，計算機的設計者們都圍繞著一塊單獨的、全能的芯片設計整個系統(tǒng)。這個全能的芯片就是CPU，臺式電腦、筆記本電腦里都有，往往來自英特爾;手機里有時候也有英特爾的CPU。英特爾也是全球最大的半導體生廠商之一。
更復雜的系統(tǒng)在計算機工程師中間變得流行起來。以前可能所有的任務都要傳到英特爾CPU中完成，現在的計算機則會把任務分成許多的小塊，然后把它們交給外圍的專用芯片完成，這些芯片結構比CPU簡單、耗電也要更少。
谷歌的大型數據中心里的變化是對全行業(yè)未來走向的一個預兆。谷歌大多數的服務器里都還有一個CPU，但是現在有數不清的定制化芯片和它們共同工作，為語音識別等人工智能應用提供運算支持。
實實在在的需求推動了谷歌的這一變化。多年以來，谷歌都有著全世界最大的計算機網絡，簡直像是一個數據中心和線纜組成的帝國，從加利福尼亞一直擴張到芬蘭和新加坡。然而，對這位谷歌的研究員來說，這樣的網絡還是太小了。
Jeff Dean 和谷歌為人工智能應用開發(fā)的TPU
Jeff Dean 是谷歌最出名、最受人尊敬的工程師之一。2011年他開始帶領團隊探索“神經網絡”的想法。這種想法的核心是讓計算機算法自己學習任務，然后可以用在很多的場合中，比如識別手機用戶的語音輸入，又或者是照片中的人臉。只花了幾個月的時間，Jeff Dean 和他的團隊就開發(fā)出了一個基于神經網絡語音識別系統(tǒng)，它識別對話的準確率要比谷歌那時已有的系統(tǒng)高得多。但接下來也有一個麻煩，全世界運行谷歌的安卓系統(tǒng)的智能手機已經超過了10億部，假設這些手機用戶們每天只用3分鐘語音識別，根據 Jeff Dean 的計算，谷歌也需要把現有的數據中心容量翻一倍才能支持得了。
監(jiān)控著谷歌“數據中心帝國”運行的是計算機科學家 Urs Hölzle，在一次開會的時候 Jeff Dean 就對他說：“我們需要再建立一個谷歌”，后來有參會者回憶道。但這個想法實現不了，Jeff Dean 就提出了一個替代方案：自己造一種專門運行這種人工智能的芯片。
谷歌數據中心里的這個苗頭已經擴散到了其它科技巨頭的身上。在未來幾年里，谷歌、蘋果、三星等公司都會制造帶有專用的AI芯片的手機。微軟設計的這種芯片打算專門用在AR頭盔上，然后谷歌、豐田等一大群造自動駕駛汽車的廠商也會需要類似的芯片。
這種研發(fā)專用芯片和新計算機架構的熱潮，在美國國防部研究機構 DARPA 的前項目管理人員 Gill Pratt 看來可謂是人工智能界的“寒武紀生物大爆發(fā)”，他本人現在正在豐田從事無人車的研究。他已經感覺到，把不同的計算分散給數量眾多的小面積、低功耗芯片的運行方式，會讓機器更像人腦，這也讓能源的利用效率提高了不少。“在生物的大腦中，能源效率至關重要”，在近期的一次采訪中，身處豐田在硅谷的新研究中心的 Gill 這樣說。
地平線已經發(fā)生變化
硅基的計算機芯片有很多種。有的芯片可以存儲數據，有的芯片可以完成玩具和電視機中的基本任務;也有的芯片可以運行計算機上的各種運算，它們大到能構造全球變暖模型的超級計算機用的芯片，小到個人計算機、服務器和手機上用的。
多年以來，計算機和類似的設備都是以CPU為核心運行的，CPU也是設備成本的大頭。這一切都似乎不需要做什么改變。根據英特爾聯合創(chuàng)始人戈登·摩爾提出的著名的摩爾定律，計算機芯片中晶體管數量每兩年左右就會翻一番，幾十年來計算機性能的提升就是按照摩爾定律一路穩(wěn)定地發(fā)展了過來。而根據 IBM 研究員 Robert Dennard 提出的 Dennard 縮放定律，芯片性能提升的同時，它們消耗的能源卻幾乎維持不變。所以在以往的日子里一切都還好。
然而到了2010年，讓晶體管數量再翻一倍花的時間比摩爾定律預測的更長了，Dennard 縮放定律也失效了，因為芯片設計人員們遇到了來自材質物理特性本身的限制。結果就是，如果想要更高的計算能力，只靠升級CPU已經不能解決問題了，需要增加更多的計算機、消耗更多的空間和電力。[!--empirenews.page--]
語音和語言團隊負責人黃學東(左)和計算架構組的 Doug Burger 都是微軟的專用芯片開發(fā)團隊成員
業(yè)界和學術界的研究者們都在想辦法延長摩爾定律的生命力，探索全新的芯片材料和芯片設計方法。但是微軟研究員 Doug Burger 有了另一種想法：除了整個業(yè)界從1960年代以來都倚仗的CPU的穩(wěn)步進化之外，為什么不試著探索專用芯片之路呢?
當時微軟才剛剛開始用機器學習改進必應搜索，通過分析用戶的使用方式改善搜索結果。雖然那時候的算法對硬件的要比后來風靡的神經網絡低得多，但是芯片已經有點跟不上了。
Doug Burger 和他的團隊做了很多不同的嘗試，最終決定用了這種叫做“FPGA”(現場可編程矩陣門陣列)的芯片，它們可以在工作過程中重新編程，適應新的任務。微軟的Windows需要運行在英特爾的CPU上，但是CPU是不能重新編程的，一旦造出來，能做什么就固定了。有了FPGA，微軟就可以改變芯片工作的方式。他們可以先對芯片編程，讓它在特定的機器學習算法中表現非常好;然后可以重新編程，讓它適合做邏輯運算。同一個芯片可以有截然不同的表現。
大概2015年前后，微軟開始應用這類芯片。到現在，幾乎每一臺微軟的數據中心新增的服務器中都帶有一塊FPGA芯片，它們幫助呈現必應搜索的結果，以及支持著微軟的云計算服務Azure。
給計算機裝上耳朵
2016年秋天，另一組微軟的研究員們做了和 Jeff Dean 的團隊同樣的工作，構建了一個比人類的平均水平還要高一點點的語音識別系統(tǒng)，也是通過神經網絡。
這個項目的負責人就是黃學東，他是來自中國的語音識別專家。在介紹這項工作的論文發(fā)表之后沒多久，他就約了他的好朋友、英偉達 CEO黃仁勛在 Palo Alto 吃了個飯。他們開了一瓶香檳慶祝。
黃學東和他的微軟同事們就是靠著數量眾多的英偉達 GPU訓練出他們的語音識別系統(tǒng)的。沒有繼續(xù)使用英特爾的CPU。如果沒有做這樣的轉換，他們很可能完成不了這項突破。“我們花了差不多一年的時間達到了人類的水平”，黃學東說。“如果沒有新計算架構的幫助，我們可能至少要花5年。”
基于神經網絡的系統(tǒng)可以很大程度上自己學習，所以它們進化得比傳統(tǒng)方法設計的系統(tǒng)快得多。以往的系統(tǒng)需要工程師們寫下無數行代碼，仔仔細細描述系統(tǒng)應該如何如何做?；谏窠浘W絡的系統(tǒng)就不需要這樣。不過神經網絡的問題就是，它需要無數次的試錯。要構建一個單詞識別達到人類水平的系統(tǒng)，研究者們需要花費很多時間反復訓練它，對算法做精細的調節(jié)，以及不斷優(yōu)化訓練數據。這個過程里需要嘗試成百上千算個不同的算法，每個算法又需要運行上萬、上億次。這需要龐大的計算能力，如果微軟這樣的公司用一般的通用芯片來做這樣的計算，這個過程花的時間就太久了，芯片可能支持不了這樣高的負載，用掉的電也太多了。
所以，幾個互聯網巨頭都已經借助英偉達的GPU訓練自己的神經網絡。GPU本來的設計只是為了用在游戲圖形渲染中的，專用的設計讓它們保持了CPU近似水平的功耗，但是在神經網絡訓練中的計算速度要比CPU高很多?，F在GPU就和CPU聯手負責計算機中的運算。
英偉達借著這個機會大舉擴張，向美國以及全世界的科技公司銷售了大量的GPU，中國公司的購買數量尤為驚人。英偉達季度營收中數據中心業(yè)務的部分，在過去的一年中翻了3倍，超過了4億美元。
“有點像是互聯網剛興起的那時候就走對了路”，黃仁勛在最近的一個采訪中說。換句話說，科技界的局勢正在快速改變，英偉達正處在這場改變的中心。
創(chuàng)造專用芯片
GPU是各個公司訓練神經網絡的重要基石，不過這也只是整個過程中的一部分。當神經網絡訓練完畢以后就可以開始執(zhí)行任務，這時候需要的計算能力又有所不同。
比如，在訓練好一個語音識別算法以后，微軟會把它作為一個線上服務提供出來，然后它就可以開始識別人們講給自己手機的指令。GPU在這種時候就沒有那么高效了。所以很多公司現在都開始制造專門用于執(zhí)行所學到的東西的芯片。
谷歌造了自己的專用芯片：TPU。英偉達也在造類似的芯片。微軟在繼續(xù)對 FPGA 芯片重新編程來讓它們更適合運行神經網絡，這些芯片來自英特爾收購的 Altera。
其它的公司也在后面追趕。專做智能手機用的ARM芯片的高通，以及數量客觀的初創(chuàng)公司都在研發(fā)AI芯片，希望能在這個快速成長的市場中分一杯羹。根據科技調研公司 IDC 預計，到2021年，帶有替代計算芯片的服務器將達到68億美元的銷售額，大致是整個服務器市場的十分之一。
Bart Sano 表示目前 TPU 也只是谷歌整個網絡運營里的一小部分
Doug Burger 透露，在微軟全球的服務器網絡中，替代計算芯片只占了所有運營中很小的一部分。谷歌的網絡軟硬件研發(fā)工程副總裁 Bart Sano 表示谷歌的數據中心也是類似的狀況。
英特爾實驗室的主管 Mike Mayberry 已經向著替代計算芯片開始發(fā)起努力。可能是因為英特爾占據著數據中心市場90%的市場份額，從而也是傳統(tǒng)芯片的最大的銷售商。他說，如果對CPU做一些適當的修改，它們也可以應對新的任務而無需其它幫助。
不過這個硅片的新浪潮擴散得很快，英特爾的市場地位也越來越糾結。它一方面否認市場正在發(fā)生變化，但是又或多或少地轉換著自己的業(yè)務避免掉隊。2年前，英特爾花費了高達167億美元收購了Altera，這家公司造的就是微軟使用的FPGA。這是英特爾歷史上最大的收購。去年，英特爾又收購了一家開發(fā)專門用于神經網絡的公司 Nervana，據說又花了超過4億美元。如今，在Nervana團隊的領導下，英特爾也在開發(fā)一款專門用于神經網絡訓練和執(zhí)行的芯片。[!--empirenews.page--]
硅谷風投公司紅杉資本的合伙人 Bill Coughran 在過去的接近10年中為谷歌的互聯網基礎設施出謀劃策，他的工作內容基本針對的就是英特爾。他表示，“他們都有大公司病，他們需要想清楚如何踏入這片新的、成長中的領域，而且還不損害他們的傳統(tǒng)業(yè)務。”
當英特爾內部高管們討論摩爾定律失效的狀況時，他們內部的混亂連公司外的人都看得到。在近期一次紐約時報的采訪中，Nervana創(chuàng)始人、現在已是英特爾高管的Naveen Rao表示，英特爾其實可以讓摩爾定律“再堅持幾年”。從官方口徑上講，英特爾的姿態(tài)是傳統(tǒng)芯片的改善在未來10年都還可以順利地進行下去。
英特爾實驗室的主管 Mike Mayberry 則表示加一兩塊芯片不是什么新鮮事了，他說以前的電腦里就有單獨的芯片來處理聲音之類的事情。
不過現在的趨勢要比以前大多了，而且從新的層面上改變著這個市場。英特爾面前的競爭對手不僅有英偉達和高通的這樣的芯片制造商，還有谷歌和微軟這樣一直以來都相當“軟”的公司。谷歌已經在設計第二代的TPU芯片了。根據谷歌的說法，今年晚些時候，任何谷歌云計算服務的客戶或者開發(fā)者都可以在新的TPU芯片上面運行他們自己的軟件。
雖然目前這些事情都還只發(fā)生在消費者視野之外的大型數據中心里，但是這對整個IT工業(yè)體系產生廣泛的影響恐怕只是時間問題。人們最期待的是，隨著新型移動芯片的到來，手持設備也可以獨立完成更多、更復雜的任務，不再需要把任務交給幾百公里外的數據中心，無論是智能手機無需互聯網也能識別語音指令，還是無人駕駛汽車可以用現在無法企及的速度和精度識別周邊的世界。
換句話說，無人駕駛汽車少不了攝像頭和雷達，但是同樣少不了一顆好的大腦。
下載文檔
