當(dāng)前位置:首頁 > 智能硬件 > 人工智能AI
[導(dǎo)讀] 深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)分支,也可以說是該領(lǐng)域近些年來的最大突破之一。 在了解深度學(xué)習(xí)之前,我們應(yīng)當(dāng)回顧一下歷史,同時(shí)也搞明白當(dāng)前最火爆的幾個(gè)概念到底有著什么樣的關(guān)系。 AI

深度學(xué)習(xí)機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)分支,也可以說是該領(lǐng)域近些年來的最大突破之一。

在了解深度學(xué)習(xí)之前,我們應(yīng)當(dāng)回顧一下歷史,同時(shí)也搞明白當(dāng)前最火爆的幾個(gè)概念到底有著什么樣的關(guān)系。

AI,ML,DL

這些年來隨著科技的發(fā)展和國家政策的推進(jìn),人工智能、機(jī)器學(xué)習(xí)還有深度學(xué)習(xí)這幾個(gè)詞就不斷充斥于耳,但是這些概念卻常常被我們所混淆。

簡單的來講,我們可以認(rèn)為 AI 》 ML 》 DL,也就是說他們之間是包含關(guān)系:

人工智能(AI)是計(jì)算機(jī)科學(xué)的一個(gè)重要研究領(lǐng)域,擁有許多的分支,例如專家系統(tǒng)、進(jìn)化計(jì)算、計(jì)算機(jī)視覺等等。重點(diǎn)在于,如何使用計(jì)算機(jī)構(gòu)建復(fù)雜的、能夠擁有與人類智慧相同本質(zhì)的東西。

機(jī)器學(xué)習(xí)(ML)是實(shí)現(xiàn)人工智能的一種方法,或者說一種思路。ML之所以能夠在人工智能領(lǐng)域鶴立雞群,主要是因?yàn)樗推胀ǖ娜跞斯ぶ悄軐?shí)現(xiàn)不同,可以使得機(jī)器擁有一定的“自適應(yīng)”能力。

機(jī)器學(xué)習(xí)的主要思路是,用算法來對(duì)大量的數(shù)據(jù)進(jìn)行解析、從中提取特征并學(xué)習(xí)(稱這個(gè)過程為“訓(xùn)練”),然后對(duì)真實(shí)的世界進(jìn)行預(yù)測(cè)和判斷。

目前機(jī)器學(xué)習(xí)方法的大分類主要有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、集成學(xué)習(xí)、強(qiáng)化學(xué)習(xí)和深度學(xué)習(xí)。傳統(tǒng)的算法包括決策樹、聚類、貝葉斯分類等等。

深度學(xué)習(xí)(DL)是一種實(shí)現(xiàn)機(jī)器學(xué)習(xí)的技術(shù)。近幾年該領(lǐng)域發(fā)展迅速,帶動(dòng)機(jī)器學(xué)習(xí)領(lǐng)域向許多不同的新領(lǐng)域發(fā)展(無人車、圖像識(shí)別、自然語言理解等)。當(dāng)然這也并不意味著深度學(xué)習(xí)就比其他的學(xué)習(xí)方式優(yōu)秀,它只是在特定情況和特定領(lǐng)域下能展現(xiàn)出巨大的優(yōu)勢(shì),并且實(shí)現(xiàn)了一定的通用性而已。

CNN

看完了這些概念,我們就進(jìn)入深度學(xué)習(xí)領(lǐng)域一窺究竟。首先要說明的是,深度學(xué)習(xí)是基于人工神經(jīng)網(wǎng)絡(luò)的,這是一種由人腦結(jié)構(gòu)啟發(fā)而來的網(wǎng)絡(luò)結(jié)構(gòu),而今天要介紹的CNN(卷積神經(jīng)網(wǎng)絡(luò))正是其中應(yīng)用最為廣泛的一種,目前在計(jì)算機(jī)視覺、自然語言理解等領(lǐng)域都是首選的訓(xùn)練網(wǎng)絡(luò)。

首先先說一下什么是人工神經(jīng)網(wǎng)絡(luò),你可以類比人類的神經(jīng)元,就是許許多多的神經(jīng)元組成了我們復(fù)雜的神經(jīng)系統(tǒng)。神經(jīng)網(wǎng)絡(luò)也是一樣,它由許許多多的人工神經(jīng)元(簡單的說就是有一個(gè)輸入,一個(gè)輸出的單元)組成,上層的神經(jīng)元的輸出連接到下層神經(jīng)元的輸入,這樣多層的連接最終就形成了一個(gè)復(fù)雜的網(wǎng)絡(luò)。

你也可以把它抽象地想成一個(gè)非常非常復(fù)雜的函數(shù),擁有許多許多(數(shù)以萬計(jì)的)參數(shù),我們說訓(xùn)練網(wǎng)絡(luò),就是在調(diào)整這些參數(shù)(當(dāng)然,怎么調(diào)整的人類自己心里也沒數(shù),全靠機(jī)器自己學(xué)習(xí)),直到它的輸出盡可能地?cái)M合我們想要的結(jié)果為之,這也是我們常把深度學(xué)習(xí)比喻成黑箱的原因之一。

好了,現(xiàn)在我們正式的開始講解CNN網(wǎng)絡(luò),看看神經(jīng)網(wǎng)絡(luò)究竟是如何工作的:

卷積

既然是要講卷積神經(jīng)網(wǎng)絡(luò),我們就必須先知道什么是卷積。先想象一個(gè)矩陣,以其中的某一個(gè)元素為中心,然后和它相鄰的所有元素進(jìn)行某種運(yùn)算(比如求和),然后移動(dòng)(滑動(dòng))這個(gè)中心,直到把整個(gè)矩陣都覆蓋一遍,我們得到的最終結(jié)果的和就是一個(gè)卷積。

這么干說真是太抽象了,不如直接看這個(gè)圖來的實(shí)在:

這個(gè)矩陣很可能就代表了一個(gè)灰度圖像,每個(gè)元素就是一個(gè)像素,數(shù)字代表著這個(gè)像素的灰度值(一般在0~255)。這個(gè)滑動(dòng)的窗口又被叫做內(nèi)核,篩或是特征檢測(cè)器,大小可以變化。當(dāng)窗口在整個(gè)矩陣?yán)锘瑒?dòng)了一遍之后所得到的所有結(jié)果的和,就是我們對(duì)這個(gè)矩陣所求的卷積。

卷積的應(yīng)用

計(jì)算每個(gè)像素和其相鄰像素的平均值可以模糊化一張圖片。

計(jì)算像素和其相鄰元素的差值可以進(jìn)行邊緣檢測(cè)。

因?yàn)檫吘壨腔叶龋ɑ蛘哒fRGB)變化最明顯的地方,所以相鄰元素間差值比較大的地方往往就是邊緣。如下圖

?。郏荩╤ttp://of1deuret.bkt.clouddn.com/18-1-11/12025490.jpg)

卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)基本上就是幾層使用非線性激活函數(shù)(比如ReLU和tanh)的卷積來得到結(jié)果的神經(jīng)網(wǎng)絡(luò)。

在傳統(tǒng)的反饋型神經(jīng)網(wǎng)絡(luò)中,我們把每個(gè)神經(jīng)元的輸入分別連接到另外的神經(jīng)元的輸出上,這個(gè)被稱為全連接層。但在CNN中,我們把輸入層的卷積當(dāng)做輸出,這就意味著,我們是把許多個(gè)神經(jīng)元的輸出(一個(gè)矩陣的卷積)連接到了一個(gè)神經(jīng)元的輸入上。

每一層的篩都不同,往往他們把成百上千個(gè)元素結(jié)合計(jì)算得到一個(gè)結(jié)果,濃縮給下一層。

需要留意的是,CNN中,不同的卷積層之間并不是直接相連的,他們中間夾著一個(gè)稱為池化層(Pooling)的特殊的處理層,用于進(jìn)行結(jié)果的規(guī)范化(后面詳解)。

在訓(xùn)練的過程當(dāng)中,CNN會(huì)自動(dòng)地根據(jù)你的目的來學(xué)習(xí)每一層篩的作用(計(jì)算方法)。舉個(gè)例子,在一個(gè)圖像識(shí)別的CNN中,第一層可能進(jìn)行邊緣檢測(cè),然后在第二層用這些邊緣作為數(shù)據(jù)來推斷簡單的形狀,最后在更高的層里,用這些形狀來推斷更高級(jí)的特性(比如人臉檢測(cè)),最后一層則是使用這些高級(jí)特性來進(jìn)行分類的分類器。

下面是一個(gè)典型的CNN網(wǎng)絡(luò)的結(jié)構(gòu):

在計(jì)算過程中有兩點(diǎn)需要特別重視的:定位不變性和復(fù)合性。我們假設(shè)要檢測(cè)一張圖片里有沒有大象,因?yàn)槟愕拇翱诳偸且瑒?dòng)過整個(gè)圖像,所以并不必在意大象會(huì)出現(xiàn)在圖像的哪個(gè)位置,在實(shí)際訓(xùn)練中,池化層可以保持?jǐn)?shù)據(jù)的一致性,讓你不用擔(dān)心轉(zhuǎn)換、旋轉(zhuǎn)或是縮放這樣的操作影響數(shù)據(jù)本身。而每個(gè)篩都提供了一種使用本層數(shù)據(jù)表示高層數(shù)據(jù)的方法(映射),這就提供了復(fù)合性(多個(gè)數(shù)據(jù)復(fù)合成一個(gè)數(shù)據(jù))。這就是CNN在計(jì)算機(jī)視覺中表現(xiàn)優(yōu)異的原因:這和你本能認(rèn)知圖像的過程是一樣的,從點(diǎn)構(gòu)建輪廓,再從輪廓抽取形狀,最后從形狀中提取更多復(fù)雜的對(duì)象。

NLP與CNN

我們說了很多CNN在計(jì)算機(jī)視覺方面的應(yīng)用(這也是它最擅長的領(lǐng)域),現(xiàn)在我們看看NLP又是如何與CNN掛鉤的。

在語言理解這個(gè)領(lǐng)域,矩陣的單元不再是圖像的像素,而是以矩陣形式表示的句子和文檔。矩陣的每一行相當(dāng)于一個(gè)符號(hào)(文法中的token),通常會(huì)是一個(gè)單詞,但也可以是一個(gè)字母。

這樣,每一行就是一個(gè)表示單詞的向量。一般這個(gè)向量可以用或者的方式轉(zhuǎn)換得到,當(dāng)然也可能是將單詞索引到詞匯表里的實(shí)數(shù)向量。一個(gè)有10個(gè)單詞的句子,我們使用一個(gè)100維的向量來表示每個(gè)詞的話,就會(huì)得到一個(gè)10*100的矩陣,這就是我們?cè)贜LP里的“圖像”了。

有關(guān)如何用向量表示單詞,可以參考此文章

在視覺處理中,我們的篩往往是在一張圖片上四處滑動(dòng),但是NLP中,我們用的篩一般和矩陣同寬,因此它只需要上下滑動(dòng),至于高度,通常為2-5個(gè)詞。綜合上述,一個(gè)用于NLP的CNN網(wǎng)絡(luò)可能像下面這樣:

跟視覺處理中很不一樣的是,你并不會(huì)在意單詞會(huì)在句子的什么地方出現(xiàn),而相鄰的單詞之間也不一定有語義的聯(lián)系(這跟圖片是不一樣的)。在很多語言中,一個(gè)短語的組合可以被拆分成很多新的詞,復(fù)合并不明顯。顯然,單詞是以某種方式組合的,比如一個(gè)形容詞修飾名詞,但這在更高的層次里到底“意味”著什么并不像在視覺處理上那么顯而易見。

根據(jù)上面分析的,看起來CNN并不能很好的去適應(yīng)NLP的任務(wù),相比之下遞歸神經(jīng)網(wǎng)絡(luò)(RNN)要更加直觀一點(diǎn),它和我們處理語言的過程(至少是我們所認(rèn)為的)很相似:從左到右地讀取一個(gè)序列。不過這并不意味著CNN就沒有用了,有些模型還是能夠起到一定作用的。CNN適用于具有局部相關(guān)性的樣本,語言是滿足這一條件的。

使用CNN的一個(gè)很大的目的是因?yàn)樗芸?,?u>GPU的加速下,卷積的計(jì)算更加迅速。比起n元語法,CNN在表達(dá)上也更有效一些。當(dāng)詞匯量變的巨大時(shí),計(jì)算超過三元的語法的代價(jià)就會(huì)變得昂貴起來。卷積能夠很好的自動(dòng)學(xué)習(xí)表達(dá),而不用獲取整個(gè)詞匯表。

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動(dòng) BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對(duì)日本游戲市場(chǎng)的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤率延續(xù)升勢(shì) 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競(jìng)爭力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競(jìng)爭優(yōu)勢(shì)...

關(guān)鍵字: 通信 BSP 電信運(yùn)營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺(tái)與中國電影電視技術(shù)學(xué)會(huì)聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會(huì)上宣布正式成立。 活動(dòng)現(xiàn)場(chǎng) NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會(huì)上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱"軟通動(dòng)力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉