當(dāng)前位置:首頁(yè) > 智能硬件 > 人工智能AI
[導(dǎo)讀]   本文通過五個(gè)任務(wù)分別測(cè)試了 MLP、CNN 和 RNN 模型,機(jī)器之心不僅對(duì)該試驗(yàn)進(jìn)行了介紹,同時(shí)還使用 Keras(TensorFlow 后端)在 MNIST 數(shù)據(jù)集上試運(yùn)行了 CNN。

  本文通過五個(gè)任務(wù)分別測(cè)試了 MLP、CNN 和 RNN 模型,機(jī)器之心不僅對(duì)該試驗(yàn)進(jìn)行了介紹,同時(shí)還使用 Keras(TensorFlow 后端)在 MNIST 數(shù)據(jù)集上試運(yùn)行了 CNN。

  如果我們對(duì) Keras 在數(shù)據(jù)科學(xué)和深度學(xué)習(xí)方面的流行還有疑問,那么考慮一下所有的主流云平臺(tái)和深度學(xué)習(xí)框架的支持情況就能發(fā)現(xiàn)它的強(qiáng)大之處。目前,Keras 官方版已經(jīng)支持谷歌的 TensorFlow、微軟的 CNTK、蒙特利爾大學(xué)的 Theano,此外,AWS 去年就宣布 Keras 將支持 Apache MXNet,上個(gè)月發(fā)布的 MXNet 0.11 就新增 Core ML 和 Keras v1.2 的支持。不過到目前為止 MXNet 好像只支持 Keras v1.2.2 而不是最新版 2.0.5。

  

  盡管我們可以使用任何 Keras 所支持的后端部署模型,但開發(fā)者和方案架構(gòu)師應(yīng)該了解 Keras 作為各深度學(xué)習(xí)庫(kù)的高級(jí) API,其本質(zhì)上是不支持各個(gè)庫(kù)所提供的全部基本參數(shù)微調(diào)。因此如果我們想要精細(xì)調(diào)整后端框架所提供的所有參數(shù),那么我們最好直接使用深度學(xué)習(xí)框架而不是使用 Keras。當(dāng)然這個(gè)情況會(huì)隨著各種工具添加到 Keras 和深度學(xué)習(xí)框架中而得到改善,但現(xiàn)在 Keras 仍是一個(gè)十分優(yōu)秀的工具,它能極好地適應(yīng)于深度學(xué)習(xí)開發(fā)的早期階段,并且為數(shù)據(jù)科學(xué)家和算法工程師快速構(gòu)建與測(cè)試復(fù)雜的深度學(xué)習(xí)模型提供了強(qiáng)大的工具。

  機(jī)器之心也嘗試使用 TensorFlow 作為后端測(cè)試了 Keras,我們發(fā)現(xiàn)整個(gè)模型的搭建非常簡(jiǎn)潔,連入門者都能輕松讀懂整個(gè)網(wǎng)絡(luò)的架構(gòu)。相比于直接使用 TensorFlow 搭建卷積神經(jīng)網(wǎng)絡(luò),將 Keras 作為高級(jí) API,并使用 TensorFlow 作為后端要簡(jiǎn)單地多。后面我們將會(huì)把 Keras 實(shí)現(xiàn) CNN 的代碼與注釋上傳至 機(jī)器之心 GitHub 項(xiàng)目 中,下圖是我們使用 TensorFlow 作為后端初始化訓(xùn)練的情況:

  

  以下是整個(gè)卷積網(wǎng)絡(luò)的架構(gòu):

 

  上面的代碼清晰地定義了整個(gè)網(wǎng)絡(luò)疊加所使用的層級(jí)。SequenTIal 代表序貫?zāi)P?,即多個(gè)網(wǎng)絡(luò)層的線性堆疊。在建立序貫?zāi)P秃螅覀兛梢詮妮斎雽娱_始依次添加不同的層級(jí)以實(shí)現(xiàn)整個(gè)網(wǎng)絡(luò)的構(gòu)建。上面的架構(gòu)首先使用的是 2 維卷積層 Conv2D,卷積核大小為 3*3,激活函數(shù)為 ReLU,其中第一個(gè)參數(shù) 32 代表卷積核數(shù)目。此外,該卷積網(wǎng)絡(luò)還使用了最大池化層 MaxPooling2D,pool_size=(2,2) 為兩個(gè)方向(豎直,水平)上的下采樣因子;Dropout 層,以 0.25 的概率在每次更新參數(shù)時(shí)隨機(jī)斷開輸入的神經(jīng)元;Dense 層,即全連接層;還有 Flatten 層,即將輸入「壓平」,也就是把多維的輸入一維化,常用在從卷積層到全連接層的過渡。以上是該架構(gòu)的基本層級(jí),更詳細(xì)的代碼及注釋請(qǐng)查看機(jī)器之心 GitHub 項(xiàng)目。

  下面是 Jasmeet BhaTIa 測(cè)評(píng)的具體情況。

  Keras 后端框架性能測(cè)試

  Keras 還能使開發(fā)人員快速測(cè)試使用不同深度學(xué)習(xí)框架作為 Keras 后端的相對(duì)性能。Keras 配置文件中有一個(gè)參數(shù)決定了使用哪一個(gè)深度學(xué)習(xí)框架作為后端,因此我們可以構(gòu)建一個(gè)相同的模型在不同的深度學(xué)習(xí)框架(如 TensorFlow、CNTK、Theano)上直接運(yùn)行。而對(duì)于 MXNet 來說,由于目前只支持 Keras ver1.2.2,所以我們需要對(duì)代碼做一點(diǎn)點(diǎn)修改就行。當(dāng)然這個(gè)模型可以根據(jù)各個(gè)深度學(xué)習(xí)框架中的不同庫(kù)而進(jìn)行微調(diào)以實(shí)現(xiàn)更好的性能,不過 Keras 仍然提供了很好的機(jī)會(huì)來比較這些基本庫(kù)之間的性能。

  早先已經(jīng)有一些文章比較了 Keras 所支持后端框架的相對(duì)性能,但是對(duì)比的時(shí)間都比較早,且主要是以 TensorFlow 和 Theano 作為后端的對(duì)比。因此本文根據(jù) Keras 和深度學(xué)習(xí)框架的最新版本在更大的范圍內(nèi)做了一次對(duì)比。

  我們首先了解一下用于測(cè)試的配置。所有的性能測(cè)試都在 Azure NC6 VM 上使用 Nvidia Tesla K80 GPU 執(zhí)行,使用的 VM 鏡像是 Ubuntu 上的 Azure DSVM(數(shù)據(jù)科學(xué)虛擬機(jī))。除了其他數(shù)據(jù)科學(xué)工具,我們還預(yù)安裝了 Keras、TensorFlow、Theano 和 MXNet。對(duì)于測(cè)試來說,所有的軟件包都是用的最新版,但因?yàn)?MXNet 只支持 Keras 1.2.2,所以其使用的舊版。

  配置

  因?yàn)槊恳粋€(gè)深度學(xué)習(xí)框架的依賴項(xiàng)不同,我們的測(cè)試在下面三種配置中運(yùn)行:

  

  

  性能測(cè)試

  為了比較 DL 框架不同的性能,我們?nèi)缦滤鍪褂昧?5 種不同的測(cè)試模型。為了確保沒有特定的框架得到任何特定的處理,所有模型都來自 GitHub Keras/examples 倉(cāng)庫(kù)中所維護(hù)的。

  模型源代碼地址:https://github.com/fchollet/keras/tree/master/examples

  測(cè)試的代碼可以在作者的 GitHub 項(xiàng)目中找到:https://github.com/jasmeetsb/deep-learning- keras-projects

  注意:有兩個(gè)測(cè)試 MXNet 并沒有參與,因?yàn)?MXNet 并不支持最新版的 Keras,且 MXNet 作為后端運(yùn)行該模型需要調(diào)整大量代碼。在其他三個(gè)測(cè)試中以 MXNet 作為后端也需要進(jìn)行一些細(xì)微的調(diào)整,主要是新版本的 Keras 重命名了一些函數(shù)。

  測(cè)試一:CIFAR-10 & CNN

  學(xué)習(xí)模型的類型:卷積神經(jīng)網(wǎng)絡(luò)(CNN)

  數(shù)據(jù)集/任務(wù):CIFAR-10 小圖片數(shù)據(jù)集

  目標(biāo):將圖片分類為 10 個(gè)類別

  根據(jù)每一個(gè) epoch 的訓(xùn)練速度,TensorFlow 要比 MXNet 快那么一點(diǎn)點(diǎn)。

  而按照準(zhǔn)確度/收斂速度來說,CNTK 在前 25 個(gè) epoch 中領(lǐng)先一點(diǎn),而在 50 個(gè) epoch 后,其他框架都到達(dá)相近的準(zhǔn)確度,而 CNTK 卻略微下降。

  

  

  測(cè)試二:MNIST & CNN

  學(xué)習(xí)模型的類型:CNN

  數(shù)據(jù)集/任務(wù):MNIST 手寫數(shù)字?jǐn)?shù)據(jù)集

  目標(biāo):將圖片分類為 10 類手寫數(shù)字

  在該測(cè)試中,TensorFlow 明顯要在訓(xùn)練時(shí)間上更加優(yōu)秀,但在準(zhǔn)確度/收斂速度上所有框架都有相似的特征。

  

  

  測(cè)試三:MNIST&MLP

  學(xué)習(xí)模型的類型:多層感知機(jī)/深度神經(jīng)網(wǎng)絡(luò)

  數(shù)據(jù)集/任務(wù):MNIST 手寫數(shù)字?jǐn)?shù)據(jù)集

  目標(biāo):將圖片分類為 10 類手寫數(shù)字

  在使用 MNIST 數(shù)據(jù)集執(zhí)行標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)測(cè)試中,CNTK、TensorFlow 和 Theano 實(shí)現(xiàn)了相似的分?jǐn)?shù)(2.5 – 2.7 s/epoch),而 MXNet 卻只需要 1.4s/epoch。此外,MXNet 同樣在準(zhǔn)確度/收斂速度上有一點(diǎn)點(diǎn)優(yōu)勢(shì)。

  

  

  測(cè)試四:MNIST&RNN

  學(xué)習(xí)模型的類型:層級(jí)循環(huán)神經(jīng)網(wǎng)絡(luò)(HRNN)

  數(shù)據(jù)集/任務(wù):MNIST 手寫數(shù)字?jǐn)?shù)據(jù)集

  目標(biāo):將圖片分類為 10 類手寫數(shù)字

  在訓(xùn)練時(shí)間上,CNTK 和 MXNet 有相似的性能(162 – 164 s/epoch),TensorFlow 的時(shí)間為 179s/epoch,而 Theano 所需的時(shí)間則顯著地增多。

  

  

  測(cè)試五:BABI & RNN

  學(xué)習(xí)模型的類型:循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)

  數(shù)據(jù)集/任務(wù):bAbi Project (https://research.fb.com/downloads/babi/)

  目標(biāo):分別根據(jù)故事(story)和問題訓(xùn)練兩個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò),致使合并的向量可以回答一系列 bAbi 任務(wù)。

  該測(cè)試并沒有使用 MXNet,TensorFlow 和 Theano 在每一個(gè) epoch 上要比 CNTK 要快了一倍多。

  

  

  

  TensorFlow 在 CNN 測(cè)試中表現(xiàn)都是最好的,但是在 RNN 測(cè)試中表現(xiàn)并不太好。

  CNTK 在 Babi RNN 和 MNIST RNN 測(cè)試上要比 TensorFlow 和 Theano 好得多,但是在 CNN 測(cè)試上要比 TensorFlow 差一些。

  MXNet 在 RNN 測(cè)試上要比 CNTK 和 TensorFlow 要好一點(diǎn),此外它在 MLP 上要比所有框架的性能都要好。不過 MXNet 并不支持 Keras v2 函數(shù),所以我們并不能在沒有修正代碼的情況下直接測(cè)試,因此可能會(huì)有一點(diǎn)偏差。

  Theano 在深度神經(jīng)網(wǎng)絡(luò)(MLP)中要比 TensorFlow 和 CNTK 好一點(diǎn)。

  結(jié)語(yǔ)

  從上面的結(jié)果可以看出來,所有的深度學(xué)習(xí)框架都有其擅長(zhǎng)的領(lǐng)域,并沒有哪個(gè)框架一定要比其他框架好。CNTK 可作為 Keras 后端并用于 RNN 的使用案例,TensorFlow 可用于 CNN,而 MXNet 雖然顯示了性能上非常大的潛力,但仍然還是讓人期待其支持所有 Keras 函數(shù)的時(shí)候。在開源社區(qū)中,這些框架都在不斷擴(kuò)展與增強(qiáng),從而提供更好的性能并輕松地部署到產(chǎn)品中。在考慮使用這些深度學(xué)習(xí)框架投入生產(chǎn)時(shí),性能是首要的。在大多數(shù)情況下,我們還需要考慮部署的難易度和其他輔助工具,它們都將幫助我們管理產(chǎn)品化的機(jī)器學(xué)習(xí)模型。最后,所有的框架性能都是在作為 Keras 后端時(shí)測(cè)評(píng)的,所以會(huì)有一點(diǎn)誤差,不過本文至少可以幫助大家對(duì)這些框架的性能有一定了解。

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

倫敦2024年8月29日 /美通社/ -- 英國(guó)汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動(dòng) BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對(duì)日本游戲市場(chǎng)的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開幕式在貴陽(yáng)舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語(yǔ)權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營(yíng)業(yè)績(jī)穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤(rùn)率延續(xù)升勢(shì) 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長(zhǎng) 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競(jìng)爭(zhēng)力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競(jìng)爭(zhēng)優(yōu)勢(shì)...

關(guān)鍵字: 通信 BSP 電信運(yùn)營(yíng)商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺(tái)與中國(guó)電影電視技術(shù)學(xué)會(huì)聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會(huì)上宣布正式成立。 活動(dòng)現(xiàn)場(chǎng) NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長(zhǎng)三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會(huì)上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡(jiǎn)稱"軟通動(dòng)力")與長(zhǎng)三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉