5MP一體化高清機(jī)芯—復(fù)雜場(chǎng)景監(jiān)控設(shè)計(jì)利器
掃描二維碼
隨時(shí)隨地手機(jī)看文章
前言
安防監(jiān)控已經(jīng)進(jìn)入了網(wǎng)絡(luò)高清時(shí)代,在這種趨勢(shì)下,高清機(jī)芯的應(yīng)用將會(huì)越來(lái)越多、應(yīng)用領(lǐng)域也會(huì)越來(lái)越廣泛。高清機(jī)芯由于有較高的技術(shù)門(mén)檻,國(guó)內(nèi)能開(kāi)發(fā)的廠家不多,大多用國(guó)外品牌。近幾年,由于ISP(Image signal processing)處理芯片的SOC化,出現(xiàn)了較多的攝像機(jī)套片,可以用來(lái)做攝像機(jī)和一體化機(jī)芯,但套片不夠靈活,無(wú)法滿足復(fù)雜場(chǎng)景的監(jiān)控要求。一體化機(jī)芯的發(fā)展是往高分辨率、網(wǎng)絡(luò)化、高倍率的方向在發(fā)展,而SOC無(wú)法及時(shí)滿足市場(chǎng)的變化。本文采用自主開(kāi)發(fā)的ISP和TMPM342電機(jī)驅(qū)動(dòng)MCU集合芯片來(lái)實(shí)現(xiàn)5MP高清機(jī)芯的開(kāi)發(fā)。
一體化機(jī)芯概述
一體化機(jī)芯是指鏡頭內(nèi)置、具有變倍且可自動(dòng)聚焦等功能的攝像機(jī),是光、機(jī)、電一體化的高精密設(shè)備,它廣泛應(yīng)用于球機(jī)、云臺(tái)等產(chǎn)品中。一體化機(jī)芯的工作原理如下:圖像光線經(jīng)過(guò)一體機(jī)鏡頭進(jìn)入圖像傳感器(sensor),圖像傳感器成像并輸出圖像信號(hào)進(jìn)入圖像信號(hào)處理系統(tǒng)(ISP),圖像信號(hào)處理單元對(duì)信號(hào)經(jīng)過(guò)彩色插值、白平衡、圖像增強(qiáng)等處理,輸出標(biāo)準(zhǔn)的圖像信號(hào)格式。控制部分(MCU)根據(jù)ISP的聚焦統(tǒng)計(jì)判斷圖像是否清晰進(jìn)而驅(qū)動(dòng)電機(jī)帶動(dòng)鏡頭變倍聚焦達(dá)到輸出清晰圖像。一體化機(jī)芯的基本原理框圖如圖1.
圖1. 一體化機(jī)芯原理框圖
一體化機(jī)芯系統(tǒng)設(shè)計(jì)
一體化機(jī)芯的硬件涉及一體機(jī)鏡頭Lens、圖像傳感器sensor、圖像信號(hào)處理系統(tǒng)ISP、控制部分MCU和驅(qū)動(dòng)部分Driver 等5個(gè)部分。鏡頭和圖像傳感器承擔(dān)光線收集和成像功能,ISP負(fù)責(zé)圖像信號(hào)的處理和加工使之輸出高質(zhì)量的圖像,控制部分承擔(dān)變倍和自動(dòng)聚焦等功能。
本項(xiàng)目是設(shè)計(jì)一款超低照度的1/1.8“5MP一體化高清機(jī)芯。一體機(jī)鏡頭采用業(yè)界首款1/1.8”靶面一體機(jī)鏡頭,具有超大的通光孔徑。圖像傳感器采用業(yè)界領(lǐng)先的超低照度1/1.8“靶面堆棧式CMOS傳感器IMX178.圖像信號(hào)處理單元采用自主設(shè)計(jì)的FPGA來(lái)實(shí)現(xiàn)ISP功能,具有靈活高效可實(shí)現(xiàn)較復(fù)雜功能等特點(diǎn)??刂撇糠趾万?qū)動(dòng)部分采用MCU和馬達(dá)驅(qū)動(dòng)MCD集成一體的TMPM342,具有體積小、控制靈活等特點(diǎn)。
系統(tǒng)關(guān)鍵部分設(shè)計(jì)
一體化機(jī)芯是光、機(jī)、電一體化的高精密設(shè)備,其設(shè)計(jì)也是一個(gè)較為復(fù)雜的工程,涉及到的技術(shù)有:自動(dòng)聚焦技術(shù)、自動(dòng)曝光技術(shù)、圖像處理技術(shù)、光學(xué)工程技術(shù)、嵌入式技術(shù)、視頻編碼技術(shù)、網(wǎng)絡(luò)傳輸技術(shù)等相關(guān)技術(shù)。
ISP部分和控制部分是系統(tǒng)設(shè)計(jì)的關(guān)鍵部分,ISP關(guān)系著輸出圖像質(zhì)量,控制部分關(guān)系著變焦和聚焦性能,使畫(huà)面快速清晰。
ISP的設(shè)計(jì)與FPGA實(shí)現(xiàn)
ISP(Image signal processing)類似人眼的視覺(jué)系統(tǒng)(包括視網(wǎng)膜、大腦皮層視覺(jué)區(qū)域等)對(duì)視網(wǎng)膜上的成像進(jìn)行處理,產(chǎn)生人所感知的視覺(jué)效果。ISP處理器對(duì)sensor輸出的原始數(shù)據(jù)進(jìn)行處理,得到與人眼視覺(jué)效果一致的圖像。
ISP處理流程大致為:光線經(jīng)過(guò)鏡頭進(jìn)入傳感器形成圖像原始數(shù)據(jù)(Bayer數(shù)據(jù)),Bayer數(shù)據(jù)進(jìn)入ISP處理單元,通過(guò)黑電平校正將信號(hào)調(diào)整到合適的范圍內(nèi)方便后續(xù)處理,經(jīng)過(guò)電平校正后的Bayer數(shù)據(jù)通過(guò)色彩插值轉(zhuǎn)換為RGB色塊圖像信號(hào),RGB圖像信號(hào)經(jīng)過(guò)白平衡校正、色彩校正、Gamma校正等一系列校正處理得到較為正常清晰的圖像信號(hào),RGB信號(hào)轉(zhuǎn)換為YUV信號(hào)后,經(jīng)過(guò)數(shù)字降噪、圖像增強(qiáng)等一系列處理可得到較為理想的圖像視頻。因此ISP模塊包括黑點(diǎn)平校正、壞點(diǎn)校正、色彩插值、白平衡校正、色彩校正、Gamma校正、RGB到Y(jié)UV轉(zhuǎn)換、數(shù)字降噪、圖像增強(qiáng)處理、視頻格式轉(zhuǎn)換等模塊。ISP原理框圖如圖2.
圖2. ISP原理框圖
5MP實(shí)時(shí)數(shù)據(jù)流對(duì)處理器處理帶寬和性能有較高的要求,因此ISP的實(shí)現(xiàn)采用Altera的Cyclone V系列FPGA來(lái)完成的。這種方式可以非常靈活的應(yīng)對(duì)各種復(fù)雜場(chǎng)景,海康威視的ISP經(jīng)過(guò)多年的市場(chǎng)檢驗(yàn),已經(jīng)得到行業(yè)內(nèi)外客戶高度的認(rèn)可。FPGA除了實(shí)現(xiàn)了常規(guī)的ISP模塊,還實(shí)現(xiàn)了自動(dòng)聚焦所需要的聚焦統(tǒng)計(jì)模塊,以及自動(dòng)曝光的AE模塊。
馬達(dá)驅(qū)動(dòng)和自動(dòng)聚焦控制部分
一體化機(jī)芯具有變焦和自動(dòng)聚焦功能,這部分需要MCU、一體機(jī)鏡頭、馬達(dá)驅(qū)動(dòng)部分三者配合才能完成的。本項(xiàng)目的馬達(dá)驅(qū)動(dòng)和MCU采用而者合一的TMPM342芯片。TMPM342是東芝公司一款MCU、MCD(Motor Control Driver)、PSC(Programmable Servo Controller)集成在一起的單芯片SOC,可以方便的控制電機(jī)、光圈,內(nèi)置ARM CortexM3,可以方便靈活的實(shí)現(xiàn)更多功能。TMPM342的MCD可以很方便的實(shí)現(xiàn)對(duì)步進(jìn)電機(jī)、直流電機(jī)、電磁線圈的控制,結(jié)合MCU和AF、AE算法,可以很方便的實(shí)現(xiàn)自動(dòng)聚焦、自動(dòng)曝光控制。TMPM342中的PSC可編程伺服控制可以實(shí)現(xiàn)PID算法,利用這個(gè)可以實(shí)現(xiàn)防抖等功能。由此,可以說(shuō)TMPM342是常適合用來(lái)開(kāi)發(fā)一體化機(jī)芯的。本項(xiàng)目就是通過(guò)TMPM342來(lái)實(shí)現(xiàn)對(duì)鏡頭馬達(dá)、光圈的驅(qū)動(dòng),并實(shí)現(xiàn)自動(dòng)聚焦、自動(dòng)曝光控制等功能。TMPM342內(nèi)部框圖及控制示意圖如圖3。
圖3. TMPM342FY內(nèi)部框圖及控制示意圖
自動(dòng)聚焦原理及實(shí)現(xiàn)
自動(dòng)聚焦是一體化機(jī)芯中最重要的功能。自己聚焦原理很簡(jiǎn)單,一般流程如下:先判斷圖像是否清晰,如果清晰就結(jié)束一輪聚焦過(guò)程,如果不清晰就開(kāi)始搜索周圍是否有清晰點(diǎn),直到搜索到清晰點(diǎn)結(jié)束一輪聚焦過(guò)程。自動(dòng)聚焦一般采用爬山法,爬山法是向值增加的方向持續(xù)移動(dòng)的簡(jiǎn)單過(guò)程,直到達(dá)到峰值為止,周圍相鄰狀態(tài)中沒(méi)有比峰值更高的值。
自動(dòng)聚焦系統(tǒng)一般由兩部分組成,一部分是聚焦清晰度評(píng)價(jià)函數(shù),這部分由FPGA來(lái)實(shí)現(xiàn);另一部分是電機(jī)驅(qū)動(dòng)及聚焦控制部分,這部分是由TMPM342來(lái)實(shí)現(xiàn)。自動(dòng)聚焦實(shí)現(xiàn)框圖如圖4。
圖4.自動(dòng)聚焦實(shí)現(xiàn)框圖
結(jié)束語(yǔ)
本文介紹了一種5MP實(shí)時(shí)一體化高清機(jī)芯的實(shí)現(xiàn)方式,采用業(yè)界最新的5MP sensor和最新的5MP一體機(jī)鏡頭,由FPGA來(lái)實(shí)現(xiàn)自主設(shè)計(jì)的ISP,通過(guò)TMPM342來(lái)實(shí)現(xiàn)聚焦和變焦電機(jī)的驅(qū)動(dòng),并同時(shí)實(shí)現(xiàn)自動(dòng)聚焦和自動(dòng)曝光和其他機(jī)芯功能。這是一種簡(jiǎn)單靈活、性價(jià)比較高的實(shí)現(xiàn)方式。