傳感器優(yōu)化方法 夜視應(yīng)用示例

1. 簡(jiǎn)述

夜視技術(shù)市場(chǎng)涵蓋了廣泛的應(yīng)用，主要目的在于給操作員提供視覺(jué)輔助分析。通常要求系統(tǒng)具有良好的便攜性以及低功耗?，F(xiàn)代的夜視系統(tǒng)已數(shù)字化并帶有高端圖像處理功能，可以實(shí)現(xiàn)模糊場(chǎng)景分析。在這樣的要求下，圖像傳感器本身的性能就變得極其重要。理想狀況，極度低光照狀態(tài)下每一個(gè)光子都必須轉(zhuǎn)化為有效信號(hào)，從而最終圖像可以清晰分辨所有細(xì)節(jié)。本文章對(duì)主要用于評(píng)估低照度性能的傳感器關(guān)鍵參數(shù)、建模和度量法作出探討。

2. 傳感器特征

本文工作是基于Teledyne e2v一款用于低照度科研CMOS圖像傳感器(CIS)，560萬(wàn)像素分辨率(2440x2304)。其像素為6.5微米，支持全局快門跟卷簾快門模式，最大速度為88幀每秒。這一單芯片架構(gòu)屬全數(shù)字并為非常低噪聲應(yīng)用作出優(yōu)化。這一CIS能夠在全速卷閘快門下實(shí)現(xiàn)亞電子時(shí)間噪聲，并在全局快門下實(shí)現(xiàn)5電子時(shí)間噪聲。

這一傳感器最初是基于標(biāo)準(zhǔn)CMOS工藝設(shè)計(jì)，然后轉(zhuǎn)移到特定的厚和高阻抗硅物料(HiRes)以實(shí)現(xiàn)從可見(jiàn)光到近紅外(NIR)更高靈敏度和良好的空間分辨率和更大的量子效率(QE)。像素的微透鏡以零縫隙(zero-gap)方法優(yōu)化，實(shí)現(xiàn)最大80%的量子效率。專有的像素彩色馬賽克陣列或單色陣列，使得傳感器適用于日間和夜視應(yīng)用。

其它測(cè)試器件(DUT)的低亮度性能在表1中做了比較。

3. 低照度相機(jī)和傳感器設(shè)計(jì)

3.1. 噪聲水平

噪聲是由以下各因素構(gòu)成：

- 讀出噪聲

- 暗散粒噪聲

- 光子散粒噪聲

- 量化噪聲

- 固定模式噪聲(FPN)

- 像素響應(yīng)非一致性(PRNU)

而最后的兩個(gè)因素FPN 和 PRNU 在系統(tǒng)校準(zhǔn)后不再出現(xiàn)，因而可以忽略。

在低輻照下，讀出和暗噪聲主導(dǎo)了信噪比(SNR)，而光子散粒噪聲則在動(dòng)態(tài)較高的位置有較大影響。要實(shí)現(xiàn)非常低光照水平下探測(cè)，噪聲的大小是關(guān)鍵因素。光子計(jì)數(shù)成像要求噪聲小于0.15 e-，這對(duì)于標(biāo)準(zhǔn)CMOS傳感器來(lái)說(shuō)是很大的挑戰(zhàn)。特別對(duì)于一些像素內(nèi)信號(hào)放大電晶管會(huì)產(chǎn)生隨機(jī)電報(bào)噪聲源(RTS)，導(dǎo)致一些像素出現(xiàn)非典型的高讀出噪聲，使得它們不適用于低照度感測(cè)。對(duì)超低噪CMOS傳感器設(shè)計(jì)而言，像素噪聲是主導(dǎo)因素。換言之，模數(shù)轉(zhuǎn)換器(ADC)和混合信號(hào)讀出通道對(duì)于影像和視覺(jué)傳感器性能來(lái)說(shuō)是至關(guān)重要的。能夠降低模擬讀出噪聲的設(shè)計(jì)方式之一，是去除取樣存放步驟(sample-and-hold)，直接轉(zhuǎn)換輸出像素信號(hào)。我們之前的工作提出了一個(gè)基于兩級(jí)ADC的新型架構(gòu)，能夠?qū)崿F(xiàn)接近0.5電子噪聲 。它同時(shí)展示了像素設(shè)計(jì)的重要性，以及電晶管工作和ADC分辨率的影響。

量化噪聲最一種隨機(jī)模擬噪聲。模數(shù)轉(zhuǎn)換器(ADC)將來(lái)自CMOS傳感器的光電信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)。這便關(guān)乎到具體信號(hào)估算的不確定性。量化步長(zhǎng)或數(shù)字量化值的選擇必須能夠讓量化噪聲跟其它噪聲源相較可以忽略。量化數(shù)值以及它的不確定性取決于：1) 模擬信號(hào)的滿量程范圍(FSR)以及2)數(shù)字信號(hào)的位數(shù)(Nb)。算式1給出了量化噪聲的算法。

算式1

其中N_b越大，則量化噪聲越小。但相應(yīng)地，也要求更大的存儲(chǔ)空間，在傳輸速率一定的情況下，也會(huì)帶來(lái)幀率的降低。因此，設(shè)計(jì)時(shí)，需兼顧幾方面。

3.2. 像素尺寸

像素的尺寸是圖像傳感器設(shè)計(jì)考慮的重要指標(biāo)。小像素能夠顯著提高空間分辨率。另一方面，在相同光學(xué)孔徑和視場(chǎng)范圍條件下，大像素能夠帶來(lái)更高的靈敏度。鑒于圖像質(zhì)量的概念是這兩個(gè)參數(shù)的結(jié)合，像素面積的折衷就成為必需事項(xiàng)。例如大像素有較高的響應(yīng)并能夠改進(jìn)夜視能力，但它的空間分辨率卻不足以辨別遠(yuǎn)處離物體的細(xì)節(jié)。約翰遜準(zhǔn)則(Johnson's criteria)被廣泛應(yīng)用在距離性能預(yù)測(cè)。

3.3. 靈敏度改進(jìn)趨勢(shì)

本工作設(shè)計(jì)方法在已有圖像傳感器設(shè)計(jì)基礎(chǔ)上加入新技術(shù)改進(jìn)光電特性，且不影響其它性能。這一方法已經(jīng)應(yīng)用芯片設(shè)計(jì)且得到了驗(yàn)證，成功實(shí)現(xiàn)產(chǎn)品系列擴(kuò)充。最近在新的工作中，通過(guò)負(fù)偏置基極并增加芯片厚度(HiRho)，提升量子效率和靈敏度，同時(shí)保持出色的空間分辨率。HiRho是短期被看好的改進(jìn)靈敏度的方法，現(xiàn)在正技術(shù)驗(yàn)證階段。根據(jù)傳感器特性建模仿真數(shù)據(jù)，可以預(yù)期應(yīng)用HiRho技術(shù)芯片在低照度環(huán)境下表現(xiàn)性能優(yōu)于其他芯片。

4. 低照度性能測(cè)量

信噪比和空間分辨率是評(píng)估圖像質(zhì)量的兩個(gè)主要指標(biāo)。相機(jī)制造技術(shù)能力也體現(xiàn)在對(duì)這兩個(gè)指標(biāo)的良好把控。界定它們的參數(shù)包括量子效率、噪聲源、色彩還原度以及調(diào)制傳遞函數(shù)(MTF)。

噪聲等效輻照度(Noise Equivalent Irradiance，NEI)，它反映了暗噪聲以及光響應(yīng)的影響，如算式2所示：

算式2

圖像傳感器的響應(yīng)度R_ims取決于多個(gè)參數(shù)，如算式3所示：

算式3

從圖像傳感器角度， NEI主要取決于兩個(gè)主要參數(shù)，量子效率和噪聲。它們決定了生成基本影像所需的最低光照度的閾值。這一理論模型并沒(méi)有考慮到與光粒子性本質(zhì)相關(guān)的散粒噪聲。散粒噪聲遵從泊松分布，它的標(biāo)準(zhǔn)偏差為產(chǎn)生的信號(hào)的平方根，以電子為單位。因此，需結(jié)合考慮NEI和信噪比(SNR)。ISO 12232 標(biāo)準(zhǔn)定義了基于SNR的圖像質(zhì)量條件。標(biāo)準(zhǔn)給出了SNR值與輻照度水平的對(duì)應(yīng)關(guān)系指標(biāo)。指標(biāo)的值愈小，傳感器的性能愈佳。在實(shí)際使用中，SNR10公認(rèn)為可接受的圖像，SNR40為完美影像。對(duì)于低照度成像而言，一般認(rèn)為SNR = 10 dB 的圖像是可用水平。

獲得SNR=X所需場(chǎng)景的輻照度Escene可通過(guò)算式4得出。

算式4

其中T_int代表曝光時(shí)間，I_dc為暗電流(e-/s)。

空間分辨能力的分析與時(shí)域信號(hào)噪聲分析同等重要?；诩s翰遜準(zhǔn)則的最小可分辨對(duì)比度(Minimum Resolvable Contrast，MRC)是常用的空間分辨能力衡量方法。相較于NEI，它更復(fù)雜一些。因?yàn)樗腔诰叽硇缘墓ぷ鳁l件下的測(cè)試結(jié)果，且受到觀察者主觀感受隨機(jī)性影響。

基于上述方法，比較不同傳感器的性能是可能的。

5. 傳感器性能對(duì)比實(shí)驗(yàn)

5.1. TTP 計(jì)量

在1950年后期提出的約翰遜準(zhǔn)則(Johnson criteria)經(jīng)常被引用界定夜視系統(tǒng)性能。根據(jù)理論，我們可以得到不同輻照水平下傳感器的最高空間分辨率fj。最小可分辨對(duì)比度(MRC)相當(dāng)于分辨某個(gè)頻率所需的對(duì)比度閾值。因此我們也能得到給定距離范圍內(nèi)，對(duì)于某一對(duì)像的偵測(cè)、辨識(shí)和識(shí)別(DRI)的機(jī)率計(jì)算?，F(xiàn)場(chǎng)測(cè)試結(jié)果常常顯示出與準(zhǔn)則有差異的結(jié)果，特別是數(shù)字傳感器和顯示器。因而衍生出多個(gè)其它方法。其中任務(wù)性能目標(biāo)(Targeting Task Performance，TTP) 方法結(jié)合了約翰遜方法和取樣圖像(或視頻)與諸如銳利化或?qū)Ρ刃拚葦?shù)字圖像處理等因素。另外，為了反映操作者主觀因素，TTP模型也加入了視覺(jué)的對(duì)比限制。這就是本工作中選用的方法。

對(duì)比閾值函數(shù)(Contrast Threshold Function，CTF) 是考慮人類視覺(jué)特征的函數(shù)。CTF_syst也采用了同一概念，通過(guò)圖像來(lái)顯示傳感器在不同光照度水平下的空間分辨率、光學(xué)模糊度(MTF)和噪聲。CTFsyst的曲線呈浴缸形，人眼對(duì)低頻變化對(duì)比度敏感，但對(duì)小圖案的空間分辨率則靈敏度受限。

TTP 的計(jì)算是在頻域，對(duì)比目標(biāo)背景對(duì)比度(C_tgt)和CTF_syst。截止頻率為C_tgt開始超過(guò)CTF_syst的頻率，即fj。低頻接近于零。算式 5 定義了TTP 的計(jì)量。

算式5

對(duì)一個(gè)給定范圍，且已知目標(biāo)范圍ATGT，可分辨周期數(shù)Nresolved可通過(guò)算式6定義。

算式6

在算式7中，系數(shù)E由一個(gè)相當(dāng)于0.5完成任務(wù)機(jī)率的經(jīng)驗(yàn)實(shí)現(xiàn)參數(shù)V₅₀而得出：

算式7

其中V₅₀ = 18.8。

由算式 5 到算式7，我們得到每個(gè)范圍TTP的準(zhǔn)確概率函數(shù)(P_id)機(jī)率函數(shù)：

算式8

我們把TTP 計(jì)量設(shè)置到Python 環(huán)境，以演示出CMOS圖像傳感器的性能對(duì)比。

5.2. 光學(xué)工作臺(tái)設(shè)定

TTP方法一般都是基于反射型目標(biāo)，而在實(shí)驗(yàn)室環(huán)境不容易實(shí)現(xiàn)。我們特別依照測(cè)試目的，設(shè)計(jì)了一個(gè)緊湊型光學(xué)工作臺(tái)。這個(gè)工作臺(tái)配備一個(gè)用于配接任何相機(jī)和卡的機(jī)械接口。機(jī)箱內(nèi)置有標(biāo)準(zhǔn)透射型分辨率測(cè)試卡(USAF 1951)，帶通濾波片或中性濾波片。積分球內(nèi)配置有校準(zhǔn)過(guò)的輻照度監(jiān)測(cè)儀。工作平臺(tái)封閉不透光，可以抵抗外界環(huán)境光 (> 100 lx)干擾，并能夠保持腔內(nèi)輻照度小于10 μlx。腔內(nèi)部使用了特殊涂料,內(nèi)壁350nm-1100 nm的光譜范圍內(nèi)殘留反射率小于5%。所有量度均使用Kowa telephoto高分辨率50 mm焦距c-mount鏡頭。

圖1 – TTP光學(xué)工作臺(tái)

6. 結(jié)果與討論

圖2到圖4為基于TTP技術(shù)在1.5 mlx 輻照度下(night level 4)的對(duì)比結(jié)果。可以看到像素尺寸，噪聲和信噪比帶來(lái)的影響。這一組圖片與USAF 1951在低亮度工作臺(tái)拍攝的目標(biāo)圖片呈現(xiàn)了一致的結(jié)果。

圖2 – USAF 1951 1.5 mlx照度下對(duì)比

Figure 3 – CTFsys 1.5 mlux照度下對(duì)比

圖4 – PID 1.5 mlux照度下對(duì)比

我們簡(jiǎn)化了計(jì)算模型，C_tgt 的計(jì)算剔除了大氣吸收，采用了簡(jiǎn)化的噪聲模型。C_tgt 取固定值0.4。由于對(duì)比是以P_id曲線為基礎(chǔ)，我們簡(jiǎn)化CTF_syst，假定顯示器是完美的，不帶有任何對(duì)比度增強(qiáng)且其空間頻率噪聲考慮為白噪聲。雖然計(jì)算的范圍數(shù)值相較于現(xiàn)場(chǎng)數(shù)據(jù)更理想化，但是它已足夠用于比較不同傳感器的表現(xiàn)。表1 給出了新型器件的參數(shù)比較。由于使用了高靈敏度的像素和低噪聲讀出，本文工作顯示了比其他像素尺寸相近產(chǎn)品更好的性能。而像素尺寸越大的芯片，表現(xiàn)出更好的SNR和NEI，在遠(yuǎn)距離探測(cè)保證更好的探測(cè)可靠性。本研究器件的性能與其它當(dāng)前高水平芯片對(duì)比，表現(xiàn)出相近的性能水平。

表 1 – 最新型CIS簡(jiǎn)表

7. 結(jié)論與未來(lái)工作

本文為前期提出的傳感器優(yōu)化方法論的延伸工作，應(yīng)用于夜視芯片優(yōu)化。提出了實(shí)驗(yàn)室測(cè)量對(duì)比夜視芯技術(shù)方法，并以此方法對(duì)比驗(yàn)證了本工作夜視傳感器與現(xiàn)有其他芯片性能進(jìn)行比較。在1.5 mlx照度下得出的結(jié)果與NEI和SNR的計(jì)算一致。由于近紅外產(chǎn)生電子擴(kuò)散更明顯，所有測(cè)試傳感器均出現(xiàn)對(duì)比度下降和空間分辨率的損失。要實(shí)現(xiàn)長(zhǎng)距離目標(biāo)探測(cè)識(shí)別(DRI)需要新一代的傳感器具有更好的光電性能。值得一提的是HiRho工藝開啟了新的技術(shù)領(lǐng)域。深耗盡區(qū)(full deep depletion)工藝將實(shí)現(xiàn)更接近理論值的對(duì)比度分辨率以及顯著改進(jìn)的QE。例如具有6.5 μm 像素的Teledyne e2v 科學(xué)CMOS圖像傳感器，在夜視等級(jí)4 (night level 4)環(huán)境下，探測(cè)范圍增加至1.2倍, 甚至超越了對(duì)比測(cè)試中表現(xiàn)最好的競(jìng)爭(zhēng)器件A。

鳴謝：特別感謝G. Valles、R. Lemaitre、H. Bugnet 和 JF. Boissoneau 對(duì)本文的貢獻(xiàn)。這一研究獲法國(guó)軍用設(shè)備總局(Direction Générale de l’Armement，DGA)資助下完成。