當前位置:首頁 > 智能硬件 > 人工智能AI
[導(dǎo)讀] 卷積神經(jīng)網(wǎng)絡(luò) 經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖 圖2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖 卷積神經(jīng)網(wǎng)絡(luò)和全連接的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上的差異還是比較大的,全連接的網(wǎng)絡(luò),相鄰兩層的節(jié)點都有邊相連,

卷積神經(jīng)網(wǎng)絡(luò)

經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

圖2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

卷積神經(jīng)網(wǎng)絡(luò)和全連接的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上的差異還是比較大的,全連接的網(wǎng)絡(luò),相鄰兩層的節(jié)點都有邊相連,而卷積神經(jīng)網(wǎng)絡(luò),相鄰節(jié)點只有部分節(jié)點相連。

全連接神經(jīng)網(wǎng)絡(luò)處理圖像的最大問題在于全連接層的參數(shù)太多,參數(shù)太多的話容易發(fā)生過擬合而且會導(dǎo)致計算速度減慢,卷積神經(jīng)網(wǎng)絡(luò)可以減小參數(shù)個數(shù)的目的。

假設(shè)輸入是一張圖片大小為28*28*3,第一層隱藏層有500個節(jié)點,那么第一層的參數(shù)就有28*28*3*500+500=1176000個參數(shù),當圖片更大時,參數(shù)就更多了,而且這只是第一層。

那么為什么卷積神經(jīng)網(wǎng)絡(luò)可以達到減小參數(shù)的目的呢?

卷積神經(jīng)網(wǎng)絡(luò)最為關(guān)鍵的有卷積層,池化層,全連接層。

卷積層

卷積層中每個節(jié)點的輸入只是上一層神經(jīng)網(wǎng)絡(luò)的一小塊,通常由卷積核來實現(xiàn),卷積核是一個過濾器,可以想象成一個掃描窗口,扣到每張圖片上,然后根據(jù)設(shè)置好的大小步長等等掃描圖片,計算規(guī)則是被扣的圖像像素矩陣跟卷積核的權(quán)重對應(yīng)位置相乘然后求和,每掃描一次得到一個輸出。卷積層所做的工作可以理解為對圖像像素的每一小塊進行特征抽象。可以通過多個不同的卷積核對同一張圖片進行卷積,卷積核的個數(shù),其實就是卷積之后輸出矩陣的深度。卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)個數(shù)與圖片大小無關(guān),只跟過濾器的尺寸、深度以及卷積核的個數(shù)(輸出矩陣的深度)有關(guān)。假設(shè)是還是28*28*3的圖片,卷積核的大小設(shè)為3*3*3,輸出矩陣的深度為500,那么參數(shù)個數(shù)為3*3*3*500+500=14000個參數(shù),對比全連接層,參數(shù)減少了很多。

圖3 形象的卷積層示例

池化層

池化層可以認為是將一張高分辨率的圖片轉(zhuǎn)化為低分辨率的圖片??梢苑浅S行У目s小矩陣的尺寸,從而減小全連接層的參數(shù)個數(shù),這樣可以加快計算速率同時又防止過擬合,池化,可以減小模型,提高速度,同時提高所提取特征的魯棒性。

使用2*2的過濾器步長為2,最大池化如下圖所示:

圖4 2*2過濾器最大池化示例圖

我們可以將卷積層和池化層看成是自動特征提取就可以了。

通過上面直觀的介紹,現(xiàn)在我們就知道為什么卷積神經(jīng)網(wǎng)絡(luò)可以達到減小參數(shù)的目的了?

和全連接神經(jīng)網(wǎng)絡(luò)相比,卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢在于共享權(quán)重和稀疏連接。共享權(quán)重在于參數(shù)只與過濾器有關(guān)。卷積神經(jīng)網(wǎng)絡(luò)減少參數(shù)的另外一個原因是稀疏連接。輸出節(jié)點至于輸入圖片矩陣的部分像素矩陣有關(guān),也就是跟卷積核扣上去的那一小塊矩陣有關(guān)。這就是稀疏連接的概念。

卷積神經(jīng)網(wǎng)絡(luò)通過權(quán)重共享和稀疏連接來減少參數(shù)的。從而防止過度擬合。

訓(xùn)練過程

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程大致可分為如下幾步:

第一步:導(dǎo)入相關(guān)庫、加載參數(shù)

第二步:歸一化,有利于加快梯度下降

第三步:定義參數(shù)及卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

第四步:前行傳播過程

第五步:成本函數(shù)

第六步:梯度下降更新參數(shù)

第七步:訓(xùn)練模型

本站聲明: 本文章由作者或相關(guān)機構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫毥谦F公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險,如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運營商 數(shù)字經(jīng)濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉