為了提升深度學(xué)習(xí)效率，IBM開發(fā)出DDL軟件庫(kù)

近年來，處理器技術(shù)進(jìn)入如此大，一個(gè)像U盤那么大的設(shè)備現(xiàn)在都可以用于為神經(jīng)網(wǎng)絡(luò)提供能量。但是，企業(yè)通常很難充分發(fā)揮其計(jì)算能力，因?yàn)閷?shí)施大規(guī)模人工智能過程中還存在的根本挑戰(zhàn)。

這個(gè)問題和可擴(kuò)展性有關(guān)，本周二IBM發(fā)布了一種名為分布式深度學(xué)習(xí)(Distributed Deep Learning，DDL)的軟件庫(kù)來解決這個(gè)問題。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子集，旨在教計(jì)算機(jī)以人類相同的方式進(jìn)行學(xué)習(xí)。例如，人們不會(huì)通過描述這個(gè)生物有4條腿、1個(gè)鼻子和1條尾巴的事實(shí)來識(shí)別出這是一只狗。一旦人們知道狗是什么樣子，就會(huì)與貓做永久性的區(qū)分。深度學(xué)習(xí)試圖在軟件中復(fù)制這種方法。

大多數(shù)深度學(xué)習(xí)的框架都支持跨多個(gè)服務(wù)器擴(kuò)展大型模式的能力，很多現(xiàn)在也支持GPU，但是收集和同步分析結(jié)果的方式還遠(yuǎn)遠(yuǎn)不夠，IBM研究部門總監(jiān)Hillery Hunter表示。

同步的工作流

深度學(xué)習(xí)模式運(yùn)行在計(jì)算機(jī)集群上，通過GPU進(jìn)行增強(qiáng)，GPU芯片有數(shù)百萬個(gè)分布式和互相關(guān)聯(lián)的處理元素，其作用大致類似于人類大腦中的神經(jīng)元。這些人造神經(jīng)元一起處理信息，就像人類的部分一樣，每個(gè)神經(jīng)元都處理一小部分?jǐn)?shù)據(jù)。當(dāng)節(jié)點(diǎn)完成計(jì)算的時(shí)候，結(jié)果將同步在其他神經(jīng)網(wǎng)絡(luò)上，以幫助協(xié)調(diào)工作。

在IBM看來，這就是瓶頸所在。人造神經(jīng)元部署運(yùn)行在越快的GPU上，完成計(jì)算的速度就越快，意味著結(jié)果的同步更加頻繁。由于AI集群的構(gòu)建方式，如果環(huán)境中芯片的數(shù)量增加，同樣適用。但是深度學(xué)習(xí)框架只能頻繁地同步數(shù)據(jù)。

因此，處理速度收到了數(shù)據(jù)在GPU之間傳輸?shù)南拗?。DDL利用所謂的多層通信算法來改變這一平衡。這個(gè)軟件庫(kù)修改信息發(fā)送通過的網(wǎng)絡(luò)路徑，以實(shí)現(xiàn)延遲和帶寬之間“最優(yōu)化”的平衡，讓通信不再是主要的瓶頸。

創(chuàng)紀(jì)錄的性能

在一次內(nèi)部測(cè)試中，IBM在一個(gè)有數(shù)百個(gè)GPU的集群上部署了DDL，并從一個(gè)受歡迎的研究數(shù)據(jù)集中發(fā)送處理750萬個(gè)圖像，將其分到22000個(gè)分類中的一個(gè)或者多個(gè)。該模型在經(jīng)過7個(gè)小時(shí)的訓(xùn)練之后，可準(zhǔn)確識(shí)別33.8%的對(duì)象，打包了之前微軟在經(jīng)過10天訓(xùn)練之后創(chuàng)下的29.8%的紀(jì)錄。

如果4%的改進(jìn)聽起來不足為奇，而且整體成功率還比較低，這是因?yàn)檫@個(gè)模型遠(yuǎn)比現(xiàn)實(shí)中遇到的更為復(fù)雜，IBM高性能計(jì)算及人工智能副總裁Sumit Gupta表示。所以改進(jìn)是循序漸進(jìn)的，他指出，微軟此前的紀(jì)錄只比上一次改進(jìn)了0.8%。這個(gè)基準(zhǔn)測(cè)試旨在強(qiáng)調(diào)深度學(xué)習(xí)軟件，以證明研究人員真正構(gòu)建了更好的模型。

DDL在訓(xùn)練人工智能開發(fā)的過程中尤其有用，這是整個(gè)項(xiàng)目生命中其中占用時(shí)間最長(zhǎng)的之一。有時(shí)候模型需要花費(fèi)幾周甚至幾個(gè)月的時(shí)間來處理樣品數(shù)據(jù)，才能變得足夠準(zhǔn)確用于生產(chǎn)中。IBM稱，在某些情況下IBM的軟件庫(kù)可以將這個(gè)過程縮短至幾個(gè)小時(shí)。“如果需要16天時(shí)間訓(xùn)練一個(gè)模型如何識(shí)別新的信用卡，那么這16天你就是在虧本的。”

深度學(xué)習(xí)在醫(yī)療場(chǎng)景中也很有用，例如組織分析，長(zhǎng)時(shí)間的訓(xùn)練關(guān)于生存或者死亡的問題。此外還有其他好處，如果一個(gè)深度學(xué)習(xí)模型可以在數(shù)小時(shí)而不是數(shù)周時(shí)間內(nèi)完成訓(xùn)練，那么就能釋放企業(yè)的人工智能基礎(chǔ)設(shè)施，用于更快地完成其他項(xiàng)目和其他工作。

IBM還另外展示了如何利用DDL實(shí)現(xiàn)95%的擴(kuò)展效率，相比之下Facebook在此前的測(cè)試中記錄是89%。這兩個(gè)測(cè)試都使用了相同的樣本數(shù)據(jù)。

IBM表示，DDL幫助企業(yè)培訓(xùn)他們的模型，實(shí)現(xiàn)此前由于時(shí)間限制而無法實(shí)現(xiàn)的速度和范圍。它將DDL軟件庫(kù)與所有主流深度學(xué)習(xí)框架相連接，包括TensorFlow、Caffee、Chainer、Torch和Theano，都是在一個(gè)開源許可下的。

IBM還將這個(gè)軟件庫(kù)融入到自己的PowerAI深度學(xué)習(xí)共計(jì)套件平臺(tái)中，有免費(fèi)和付費(fèi)企業(yè)兩個(gè)版本，此外還有在Minbix Minsky Power Cloud上。Gupta表示：“我們將通過PowerAI把它帶給每個(gè)人。”