當前位置:首頁 > 智能硬件 > 人工智能AI
[導讀] CNN和RNN幾乎占據(jù)著深度學習的半壁江山,所以本文將著重講解CNN+RNN的對比,以及各種組合方式。 一、CNN與RNN對比 1. CNN卷積神經(jīng)網(wǎng)絡與RNN遞歸

CNN和RNN幾乎占據(jù)著深度學習的半壁江山,所以本文將著重講解CNN+RNN的對比,以及各種組合方式。

一、CNN與RNN對比

1. CNN卷積神經(jīng)網(wǎng)絡與RNN遞歸神經(jīng)網(wǎng)絡直觀圖

2. 相同點:

傳統(tǒng)神經(jīng)網(wǎng)絡的擴展。

前向計算產(chǎn)生結果,反向計算模型更新。

每層神經(jīng)網(wǎng)絡橫向可以多個神經(jīng)元共存,縱向可以有多層神經(jīng)網(wǎng)絡連接。

3. 不同點

CNN空間擴展,神經(jīng)元與特征卷積;RNN時間擴展,神經(jīng)元與多個時間輸出計算

RNN可以用于描述時間上連續(xù)狀態(tài)的輸出,有記憶功能,CNN用于靜態(tài)輸出

CNN高級100+深度,RNN深度有限

二、CNN+RNN組合方式

1. CNN 特征提取,用于RNN語句生成圖片標注。

2. RNN特征提取用于CNN內(nèi)容分類視頻分類。

3. CNN特征提取用于對話問答圖片問答。

三、具體應用

1. 圖片標注

基本思路:

目標是產(chǎn)生標注的語句,是一個語句生成的任務,LSTM?

描述的對象大量圖像信息,圖像信息表達,CNN?

CNN網(wǎng)絡中全連接層特征描述圖片,特征與LSTM輸入結合。

具體步驟:

(1) 模型設計-特征提取

全連接層特征用來描述原圖片

LSTM輸入:word+圖片特征;輸出下一word。

(2) 模型設計-數(shù)據(jù)準備

圖片CNN特征提取

圖片標注生成Word2Vect 向量

生成訓練數(shù)據(jù):圖片特征+第n單詞向量:第n+1單詞向量。

(3) 模型訓練:

運用遷移學習,CNN特征,語句特征應用已有模型

最終的輸出模型是LSTM,訓練過程的參數(shù)設定:梯度上限(gradient clipping), 學習率調(diào)整(adaptivelearning)

訓練時間很長。

(4) 模型運行:

CNN特征提取

CNN 特征+語句開頭,單詞逐個預測

2. 視頻行為識別 :

視頻中在發(fā) 生什么?

常用方法總結:

(1) RNN用于CNN特征融合:

CNN 特征提取

LSTM判斷

多次識別結果分析。

不同的特征不同輸出。

或者:所有特征作為一個輸出。

(2) RNN用于CNN特征篩選+融合:

并不是所有的視頻 圖像包含確定分類信息

RNN用于確定哪些frame 是有用的

對有用的圖像特征 融合。

(3) RNN用于目標檢測:

CNN直接產(chǎn)生目標候選區(qū)

LSTM對產(chǎn)生候選區(qū)融合(相鄰時刻位置近 似)

確定最終的精確位置。

(4) 多種模型綜合:應用中,為了產(chǎn)生***結果,多采用多模型ensemble形式。

本站聲明: 本文章由作者或相關機構授權發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或將催生出更大的獨角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉型技術解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關鍵字: 汽車 人工智能 智能驅動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務中斷的風險,如企業(yè)系統(tǒng)復雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務連續(xù)性,提升韌性,成...

關鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關鍵字: 華為 12nm EDA 半導體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權最終是由生態(tài)的繁榮決定的。

關鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務引領增長 以科技創(chuàng)新為引領,提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強核心競爭優(yōu)勢...

關鍵字: 通信 BSP 電信運營商 數(shù)字經(jīng)濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術學會聯(lián)合牽頭組建的NVI技術創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術創(chuàng)新聯(lián)...

關鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關鍵字: BSP 信息技術
關閉
關閉