隨著在舊金山舉行的國際電子設備會議(IEDM)和在蒙特利爾舉行的神經(jīng)信息處理系統(tǒng)會議(NeurlPS)的開門紅，對于任何希望跟上人工智能研發(fā)發(fā)展步伐的人來說，本周都顯得十分重要。
正如IBM的研究人員正在詳細介紹用于數(shù)字和模擬人工智能芯片的新人工智能方法。IBM自豪地宣稱，其數(shù)字AI芯片“首次成功地使用8位浮點數(shù)訓練了深度神經(jīng)網(wǎng)絡(DNNs)，同時在深度學習模型和數(shù)據(jù)集的頻譜上完全保持了準確性?！?/p>
另外，IBM的研究人員正在IEDM上展示一種模擬人工智能芯片，它使用8位精度的內(nèi)存與投影相變內(nèi)存相乘。
“我們確實認為所有這些工作我們正在做,比如試圖獲得精度下降,性能可以和權力可以繼續(xù)推進AI——是非常重要的,”杰弗里?六須鲇IBM research - almaden的副總裁兼實驗室主任這樣說道。
Linley Group總裁兼首席分析師Linley Gwennap稱：“機器學習繼續(xù)快速發(fā)展。現(xiàn)有的硬件無法有效處理研究人員建立的最大的神經(jīng)網(wǎng)絡，所以他們正在尋找各種新的方法來提高性能和效率。這些新進展都將給硬件廠商帶來巨大壓力，芯片公司都"必須靈活且迅速地在這個混亂的市場中生存"。
AI的GPU時代結束了
IBM大膽預測，GPU在人工智能領域的主導地位將終結。GPU能夠為圖形處理做很多并行矩陣乘法。這樣的矩陣乘法恰好是你需要用神經(jīng)網(wǎng)絡做的事情。在Welser看來，“這是一種巧合，但它非常重要?！币驗槿绻麤]有它(gpu)，我們永遠也達不到我們今天在AI表現(xiàn)中已經(jīng)看到的水平。Welser還補充說，“隨著我們對人工智能的了解越來越多，我們正在尋找方法來設計一種更高效的硬件。”
移動到較低的精度
提高效率的一個途徑是降低人工智能處理所需的精度。
六須鲇解釋說,“我們所有的大方向在幾年前開始意識到,雖然我們習慣于非常精確的計算- 32位浮點計算非常標準,甚至64位,雙精度對于真正準確的計算——這是不一定總是重要的(AI)?！?/p>
在人工智能中，他強調(diào)，“你所關心的神經(jīng)網(wǎng)絡是當你展示一幅圖像或一個詞，如果它得到了正確的答案?！碑斘覀儐査秦堖€是狗時，它說它是貓。如果這是正確的答案，你就不必關心中間的所有計算。
理想情況下，人工智能應該模仿人眼。威爾斯說:“透過霧蒙蒙的窗戶，你會看到一個人在街上走。這是一種低姿態(tài)的形象，但通常能說“哦，那是我媽媽來了”就足夠了。“所以，只要你得到了正確的答案，這對視力是否合適并不重要?！?/p>
他解釋說，這解釋了人工智能處理中精度下降的趨勢。
“對于32位計算，我必須在32位上進行計算。如果我們能在16位上完成，那基本上是計算能力的一半，或者可能是芯片面積的一半，甚至更少?！叭绻隳芙档?位或4位，那就更好了?！彼f，“所以，這給了我一個巨大的勝利，在面積、動力、性能和吞吐量方面——我們能多快完成所有這些?！?/p>
然而，Welser承認，“很長一段時間以來，我們都認為人工智能訓練必須堅持32位精度。沒有別的辦法了。
2015年，IBM Research發(fā)布了AI模型訓練推理的降精度方法，論文描述了一種針對傳統(tǒng)CMOS技術的新型數(shù)據(jù)流方法。IBM展示了經(jīng)過16位精度訓練的模型，與經(jīng)過32位精度訓練的模型相比，精度沒有損失。
從那時起，IBM注意到“降低精度的方法很快被采納為行業(yè)標準，16位培訓和8位推斷現(xiàn)在已經(jīng)很普遍，并刺激了創(chuàng)業(yè)公司和風險投資的爆炸式增長，用于降低基于精度的AI芯片?！北M管出現(xiàn)了這種新趨勢，但由于需要保持模型的高精度，用數(shù)字表示小于16位的“訓練”幾乎是不可能的。
下載文檔
