Global Shutter為AI 點睛

前言：

AI(人工智能)，是目前科技行業(yè)最火的話題。從Alpha Go戰(zhàn)勝圍棋世界冠軍柯潔，到德勤與Kira Systems 聯(lián)手，將AI引入會計、稅務(wù)、審計等財務(wù)工作領(lǐng)域，可以看出，AI離我們的生活越來越近了。

AI到底能做什么，每個人都有自己的看法，大家對AI有著非常多的期待，期待AI能夠解放人類雙手，提高人類的工作效率。但不管怎么樣，大家都希望AI可以讓機(jī)器像人一樣思考學(xué)習(xí)，像人一樣聽懂語音識別，像人一樣控制運動，像人一樣進(jìn)行視覺識別，用機(jī)器實現(xiàn)目前所有必須借助人類智慧才能實現(xiàn)的任務(wù)。

在AI技術(shù)里，人工神經(jīng)網(wǎng)絡(luò)非常關(guān)鍵。在人工神經(jīng)網(wǎng)絡(luò)模型中，其結(jié)構(gòu)分為輸入層，隱藏層和輸出層。(如下圖)

而做為AI的輸入，目前主要是通過視覺輸入和語音輸入。為了讓機(jī)器像人一樣進(jìn)行視覺識別，目前最重要的器件就是Camera sensor。Camera sensor就像機(jī)器的眼睛，為機(jī)器感知周圍的世界。Camera sensor的拍照效果，跟很多參數(shù)有關(guān)，曝光時間是圖像傳感器其中一個重要的參數(shù)，而快門速度則會影響到Camera sensor的曝光時間。

那什么是快門呢?

快門主要用來控制攝像頭傳感器的有效曝光時間。一般而言快門的時間范圍越大越好。若想抓到急速移動的物體，就需要快門速度越快越好。而若需要看到夜晚的車水馬龍，就需要快門時間越長越好。

目前主要由兩種曝光Shutter技術(shù)： Rolling Shutter 和 Global Shutter

Rolling Shutter：

Rolling Shutter的sensor 的曝光是按照逐行曝光的方式實現(xiàn)。在曝光開始的時候，Sensor逐行掃描逐行進(jìn)行曝光，直至所有像素點都被曝光。當(dāng)然，所有的動作在極短的時間內(nèi)完成。不同行像元的曝光時間不同。

(圖片來源于網(wǎng)絡(luò))

Global Shutter：

與RollingShutter不同，是整幅畫面同一時間曝光實現(xiàn)。攝像頭傳感器sensor的所有像素點同一時間感應(yīng)光線，同時曝光。Sensor讀出的是同一時間的同一畫面。

(圖片來源于網(wǎng)絡(luò))

下面有兩張圖可以介紹這兩種技術(shù)：

(圖片來源于網(wǎng)絡(luò))

左邊的圖是Rolling shutter的曝光方式，逐行掃描。而右面的圖則是Global Shutter的曝光方式，所有像素點一起曝光。

在拍照的時候，Rolling Shutter成像過程如下圖：

左邊，是一個常見的場景(上面風(fēng)扇，下面小汽車)，Rolling Shutter對它進(jìn)行逐行掃描，成像結(jié)果如右圖。面對一個運動中的物體，Rolling Shutter是一行一行曝光，采集畫面，所以形變非常嚴(yán)重。而Global Shutter是所有像素同時曝光，所以不會產(chǎn)生此形變。

(圖片來源于網(wǎng)絡(luò))

之所以Global Shutter 能夠做到全局曝光，跟Rolling Shutter相比，主要是Global Shutter在每一個像素上都增加了一個存儲單元，才使得所有的像素能夠同時曝光。

同Rolling shutter相比，Global shutter的sensor可以很好的解決以下問題：

1. 高速物體變形 (左圖是采用Global shutter技術(shù)的 SmartSens SC132GS拍攝的圖片，右圖是 Rolling shutter sensor拍攝的圖片)。

可以明顯看出用Rolling shutter sensor拍攝高速運動的風(fēng)扇，物體會變形。

(圖片來源于SmartSens)

2. 明暗現(xiàn)象 (左圖是采用Global shutter技術(shù)的 SC132GS拍攝的圖片，右圖是沒有采用HDR技術(shù)拍攝的圖片)

在光線有明暗變化的時候，左圖Global shutter sensor 不會有明暗瑕疵，可以做到單幀HDR。

(圖片來源于SmartSens)

成像技術(shù)不停的演進(jìn)，促進(jìn)了AI的發(fā)展。通過AI，大數(shù)據(jù)和互聯(lián)網(wǎng)技術(shù)，帶動了智慧城市的建設(shè)。智能安防，智慧交通，智慧工廠，智慧商業(yè)，智能家居，都能看到Camera的身影。一般情況下，Rolling shutter技術(shù)就足夠了，但若要捕捉高速運動物體，或在環(huán)境光條件不理想的情況下獲取清晰圖像的時候，使用Global Shutter技術(shù)，無疑會帶來更好的效果。

1. 智慧安防

目前來看，AI最容易落地的就是安防領(lǐng)域。通過AI技術(shù)，將監(jiān)控中的人準(zhǔn)確無誤的抓拍下來，可以最大化的實現(xiàn)監(jiān)控目的。一般情況下，安防Camera主要抓拍的都是行人，都是慢速運動的物體，Rolling shutter sensor就可以勝任。但若通過Global shutter sensor，則可以在高速移動的拍攝場景中有效降低圖像畸變，避免了抓拍時，人物或物體運動帶來的斜坡晃動現(xiàn)象，以及人臉模糊的問題，從而提供更清晰的圖像。因此在高速違章查處，卡口ETC等需要道路監(jiān)控的地方，Global Shutter比Rolling Shutter更加勝任。

2. 智慧交通

為了讓城市交通更加便利，疏導(dǎo)公共交通，智慧交通系統(tǒng)是解決交通發(fā)展瓶頸的有效手段之一。高速違章查處，卡口ETC，十字路口的道路監(jiān)控，停車場的智能管理，道路流量監(jiān)測，電子警察等都離不開成像技術(shù)。只有準(zhǔn)確的成像信息，才能更加準(zhǔn)確地判斷當(dāng)前的路況以及車輛的情況，才能更好地實現(xiàn)智慧交通。這個時候，Global shutter可以更好的助力智慧交通。

為了實現(xiàn)智慧交通，從汽車角度來看，新型汽車都在從ADAS輔助駕駛向自動駕駛的方向演進(jìn)。無論是輔助駕駛還是自動駕駛，汽車的中控芯片對sensor接收下來的圖像信息要求越來越高。中控芯片需要sensor在車輛高速運動中，不僅提供沒有變形的清晰圖片，還需要提供周邊物體與車輛的距離。而Global shutter sensor一方面可以避免車輛高速運動時，Rolling shutter sensor 拍攝變形的問題，另外一方面，結(jié)合結(jié)構(gòu)光技術(shù)(接收sensor是Global shutter的)或者雙目攝像頭(兩個攝像頭若都是Global shutter最好)技術(shù)，就可以提供更清晰的圖像，以便于中控更加精準(zhǔn)的計算出周邊物體與車體的距離，判斷當(dāng)前的路況，判斷交通燈的狀況，才能使車輛行駛更加安全。

(圖片來源于網(wǎng)絡(luò))

3. 智慧工廠

由于Global shutter sensor可以清楚的還原高速運動中的物體的形態(tài)，有效避免Rolling shutter sensor 擔(dān)心圖像質(zhì)量而降低自動流水線的速度問題。所以大型工廠在檢測，質(zhì)量管控，機(jī)械臂操作，物流，測量等自動化生產(chǎn)時，使用Global shutter可以提高生產(chǎn)效率。

4. 智慧商業(yè)

隨著支付寶，微信支付的發(fā)展，國內(nèi)二維碼支付變得非常流行。而對于店家來講，掃碼設(shè)備的需求也在增長。對于掃碼設(shè)備來講，若用Global shutter sensor可以使掃碼設(shè)備的可識別區(qū)域變長，使用戶擁有更優(yōu)的體驗感。

(圖片來源于SmartSens)

5. 智能家居

家用設(shè)備若要智能化，也需要Camera的幫忙。比如，掃地機(jī)器人。掃地機(jī)器人若想將屋內(nèi)的空間測量出來或者識別前方是否有障礙物，都離不開Camera這只眼睛。同樣，Global shutter則可以幫助掃地機(jī)器人更加精準(zhǔn)的獲得距離信息，使得掃地機(jī)器人更加智能化。

雖然說Global Shutter 有很多優(yōu)勢，但是也無法完全替代Rolling Shutter。Global shutter sensor適用于拍攝高速運動物體，或AI應(yīng)用中基于機(jī)器視覺算法的智能感知技術(shù)(vSLAM/手勢跟蹤識別/光流等算法)，Rolling Shutter sensor則適用于拍攝運動速度相對較慢的物體或場景，可獲得更高的成像信噪比。而且由于Global shutter 需要對每個像素都要增加一個存儲單元，這樣增加了sensor的生產(chǎn)難度以及成本。

考慮到BSI在低照條件下的成像亮度和清晰度都比FSI有更大的優(yōu)勢，可以有效增加Global shutter sensor在應(yīng)用場景上的拓展，適應(yīng)性更廣，SmartSens首創(chuàng)將BSI技術(shù)和Global shutter技術(shù)相結(jié)合，發(fā)布了多款基于BSI(背照式)的Global Shutter sensor產(chǎn)品。

AI和IoT的發(fā)展，影響著人們的生活，甚至在改變?nèi)藗兊纳?。而做為AI和IoT的眼睛，Camera sensor的技術(shù)發(fā)展也間接影響著AI和IoT的發(fā)展。SmartSens的理念是服務(wù)于應(yīng)用技術(shù)的發(fā)展趨勢，根據(jù)市場和應(yīng)用技術(shù)的需求，將看清萬物的“眼”做到極致。通過不斷完善提升CMOS成像傳感器的設(shè)計和制造能力，為AI和IoT點睛。