簡述卷積神經(jīng)網(wǎng)絡(luò)發(fā)展進(jìn)程

卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，最早可以追溯到1962年，Hubel和Wiesel對(duì)貓大腦中的視覺系統(tǒng)的研究。1980年，一個(gè)日本科學(xué)家福島邦彥(Kunihiko Fukushima)提出了一個(gè)包含卷積層、池化層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。在這個(gè)基礎(chǔ)上，Yann Lecun將BP算法應(yīng)用到這個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練上，就形成了當(dāng)代卷積神經(jīng)網(wǎng)絡(luò)的雛形。

其實(shí)最初的CNN效果并不算好，而且訓(xùn)練也非常困難。雖然也在閱讀支票、識(shí)別數(shù)字之類的任務(wù)上有一定的效果，但由于在一般的實(shí)際任務(wù)中表現(xiàn)不如SVM、Boosting等算法好，因此一直處于學(xué)術(shù)界的邊緣地位。直到2012年，ImageNet圖像識(shí)別大賽中，Hinton組的AlexNet引入了全新的深層結(jié)構(gòu)和Dropout方法，一下子把error rate從25%降低到了15%，這顛覆了圖像識(shí)別領(lǐng)域。AlexNet有很多創(chuàng)新，盡管都不是很難的方法。其最主要的結(jié)果是

讓人們意識(shí)到原來那個(gè)福島邦彥提出的、Yann LeCun優(yōu)化的LeNet結(jié)構(gòu)原來是有很大改進(jìn)空間的：只要通過一些方法能夠加深這個(gè)網(wǎng)絡(luò)到8層左右，讓網(wǎng)絡(luò)表達(dá)能力提升，就能得到出人意料的好結(jié)果。

順著AlexNet的思想，LeCun組2013年提出了一個(gè)DropConnect，把error rate降低到了11%。而NUS的顏水成組則提出了一個(gè)重要的Network in Network(NIN)方法，NIN的思想是在原來的CNN結(jié)構(gòu)中加入了一個(gè)1*1 conv層，NIN的應(yīng)用也得到了2014年Imagine另一個(gè)挑戰(zhàn)——圖像檢測(cè)的冠軍。Network in Network更加引發(fā)了大家對(duì)CNN結(jié)構(gòu)改變的大膽創(chuàng)新。因此，兩個(gè)新的架構(gòu)Inception和VGG在2014年把網(wǎng)絡(luò)加深到了20層左右，圖像識(shí)別的error rate(越小越好)也大幅降低到6.7%，接近人類錯(cuò)誤率的5.1%。2015年，MSRA的任少卿、何愷明、孫劍等人，嘗試把Identity加入到卷積神經(jīng)網(wǎng)絡(luò)中提出ResNet。最簡單的Identity卻出人意料的有效，直接使CNN能夠深化到152層、1202層等，error rate也降到了3.6%。后來，ResNeXt,Residual-Attention，DenseNet，SENet等也各有貢獻(xiàn)，各自引入了Group convolution，Attention，Dense connection，channelwise-attention等，最終ImageNet將error rate降到了2.2%，遠(yuǎn)遠(yuǎn)低于人類的錯(cuò)誤率。現(xiàn)在，即使手機(jī)上的神經(jīng)網(wǎng)絡(luò)，也能達(dá)到超過人類的水平。而另一個(gè)挑戰(zhàn)——圖像檢測(cè)中，也是任少卿、何愷明、孫劍等優(yōu)化了原先的R-CNN,fast R-CNN等通過其他方法提出region proposal，然后用CNN去判斷是否是

object的方法，提出了faster R-CNN。Faster R-CNN的主要貢獻(xiàn)是使用和圖像識(shí)別相同的CNN feature，發(fā)現(xiàn)feature不僅可以識(shí)別圖片內(nèi)容，還可以用來識(shí)別圖片的位置。也就是說，CNN的feature非常有用，包含了大量的信息，可以同時(shí)用來做不同的任務(wù)。這個(gè)創(chuàng)新一下子把圖像檢測(cè)的MAP也翻倍了。在短短的4年中，ImageNet圖像檢測(cè)的MAP(越大越好)從最初的0.22達(dá)到了最終的0.73。何愷明后來還提出了Mask R-CNN，即給faster R-CNN又加了一個(gè)Mask Head，發(fā)現(xiàn)即使只在訓(xùn)練中使用Mask Head，其信息可以傳遞回原先的CNN feature中，獲得了更精細(xì)的信息。由此，Mask R-CNN得到了更好的結(jié)果。何愷明在2009年時(shí)候就以一個(gè)簡單有效的去霧算法得到了CVPR Best Paper，在計(jì)算機(jī)視覺領(lǐng)域聲名鵲起。后來更是提出了ResNet和Faster R-CNN兩大創(chuàng)新，直接顛覆了整個(gè)計(jì)算機(jī)視覺/機(jī)器學(xué)習(xí)領(lǐng)域。

當(dāng)然，CNN結(jié)構(gòu)變得越來越復(fù)雜，很多結(jié)構(gòu)都很難直覺的來解釋和設(shè)計(jì)。于是谷歌提出了自動(dòng)架構(gòu)學(xué)習(xí)方法NasNet(Neural Architecture Search Network)來自動(dòng)用Reinforcement Learning去搜索一個(gè)最優(yōu)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。Nas是目前CV界一個(gè)主流的方向，可以自動(dòng)尋找出最好的結(jié)構(gòu)，以及給定參數(shù)數(shù)量/運(yùn)算量下最好的結(jié)構(gòu)(這樣就可以應(yīng)用于手機(jī))，是目前圖像識(shí)別的一個(gè)重要發(fā)展方向。今年何愷明(2019年4月)又發(fā)表了一篇論文，表示即使Random生成的網(wǎng)絡(luò)連接結(jié)構(gòu)(只要按某些比較好的Random方法)，都會(huì)取得非常好的效果，甚至比標(biāo)準(zhǔn)的好很多。Random和Nas哪個(gè)是真的正確的道路，這有待進(jìn)一步的研究了。

卷積神經(jīng)網(wǎng)絡(luò)CNN的發(fā)展引發(fā)了其他領(lǐng)域的很多變革。比如：利用CNN，AlphaGo戰(zhàn)勝了李世石，攻破了圍棋(基礎(chǔ)版本的AlphaGo其實(shí)和人類高手比起來是有勝有負(fù)的)。后來利用了ResNet和Faster-RCNN的思想，一年后的Master則完全戰(zhàn)勝了所有人類圍棋高手。后來又有很多復(fù)現(xiàn)的開源圍棋AI，每一個(gè)都能用不大的計(jì)算量超過所有的人類高手。以至于現(xiàn)在人們講棋的時(shí)候，都是按著AI的勝率來講了。