為您詳解連續(xù)波CMOS?ToF相機(jī)系統(tǒng)技術(shù)優(yōu)勢(shì)！
[導(dǎo)讀]現(xiàn)在，許多機(jī)器視覺(jué)應(yīng)用需要高分辨率的3D深度圖像來(lái)替代或增強(qiáng)標(biāo)準(zhǔn)的2D圖成像。這類(lèi)解決方案依靠3D相機(jī)來(lái)提供可靠的深度信息以保證安全性，尤其是當(dāng)機(jī)器在極其貼近人附近工作的時(shí)候。在具有挑戰(zhàn)性的環(huán)境中工作時(shí)，例如在具有高反射性表面的大空間中和有其他移動(dòng)物體的環(huán)境中工作時(shí)，相機(jī)還需要提...
現(xiàn)在，許多機(jī)器視覺(jué)應(yīng)用需要高分辨率的3D深度圖像來(lái)替代或增強(qiáng)標(biāo)準(zhǔn)的2D圖成像。這類(lèi)解決方案依靠3D相機(jī)來(lái)提供可靠的深度信息以保證安全性，尤其是當(dāng)機(jī)器在極其貼近人附近工作的時(shí)候。在具有挑戰(zhàn)性的環(huán)境中工作時(shí)，例如在具有高反射性表面的大空間中和有其他移動(dòng)物體的環(huán)境中工作時(shí)，相機(jī)還需要提供可靠的深度信息。
目前的許多產(chǎn)品使用低分辨率測(cè)距儀類(lèi)型解決方案來(lái)提供深度信息，以增強(qiáng)2D成像。但是，這種方法有很多限制。對(duì)于可從更高分辨率3D深度信息獲益的應(yīng)用，CW CMOS ToF相機(jī)提供了市場(chǎng)上最高性能的解決方案。表1更詳細(xì)地說(shuō)明了由高分辨率CW ToF傳感器技術(shù)實(shí)現(xiàn)的一些系統(tǒng)特性。這些系統(tǒng)特性還能運(yùn)用于消費(fèi)者使用場(chǎng)景，如視頻背景虛化、面部身份驗(yàn)證和測(cè)量應(yīng)用，以及汽車(chē)使用場(chǎng)景，如駕駛員狀態(tài)監(jiān)控和自動(dòng)化艙內(nèi)配置。
表1.連續(xù)波飛行時(shí)間系統(tǒng)特性
連續(xù)波CMOS飛行時(shí)間相機(jī)概述
深度相機(jī)是指每個(gè)像素都會(huì)輸出相機(jī)與場(chǎng)景之間距離的相機(jī)。一種測(cè)量深度的技術(shù)是計(jì)算光從相機(jī)光源行進(jìn)到反射表面再返回相機(jī)所需的時(shí)間。此行程時(shí)間通常被稱為飛行時(shí)間(ToF)。
圖1.連續(xù)波飛行時(shí)間傳感器技術(shù)概要
ToF相機(jī)由多個(gè)元件組成（參見(jiàn)圖1），包括：
人們可以使用多種方法來(lái)調(diào)制ToF相機(jī)中的光線。一種簡(jiǎn)單辦法是使用連續(xù)波調(diào)制，例如50％占空比的方波調(diào)制。在實(shí)踐中，激光波形很少是完美的方波，看起來(lái)可能更靠近正弦波。對(duì)于給定光功率，方形激光波形可產(chǎn)生更好的信噪比，但高頻諧波的存在也會(huì)導(dǎo)致深度非線性誤差。
CW ToF相機(jī)通過(guò)估算發(fā)射信號(hào)與返回信號(hào)的基波之間的相移 ? = 2πftd 來(lái)測(cè)量這兩個(gè)信號(hào)之間的時(shí)間差td。深度可以利用相移 (?) 和光速(c)來(lái)估算，公式如下
其中fmod為調(diào)制頻率。
傳感器中的時(shí)鐘產(chǎn)生電路控制互補(bǔ)像素時(shí)鐘，而互補(bǔ)像素時(shí)鐘分別控制兩個(gè)電荷儲(chǔ)存元件（Tap A和Tap B）中的光電荷的累積，以及激光驅(qū)動(dòng)器的激光調(diào)制信號(hào)。返回調(diào)制光的相位可以相對(duì)于像素時(shí)鐘的相位來(lái)測(cè)量（參見(jiàn)圖1右側(cè)）。像素中的Tap A和Tap B之間的差分電荷與返回調(diào)制光的強(qiáng)度和返回調(diào)制光相對(duì)于像素時(shí)鐘的相位成比例。
利用零中頻檢測(cè)原理，使用像素時(shí)鐘和激光調(diào)制信號(hào)之間的多個(gè)相對(duì)相位進(jìn)行測(cè)量。組合這些測(cè)量結(jié)果即可確定返回調(diào)制光信號(hào)中的基波相位。知道該相位即可計(jì)算光從光源行進(jìn)到被觀察的物體再返回到傳感器像素所花的時(shí)間
高調(diào)制頻率的優(yōu)點(diǎn)
在實(shí)踐中，光子散粒噪聲、讀出電路噪聲、多路徑干擾等非理想因素會(huì)導(dǎo)致相位測(cè)量誤差。高調(diào)制頻率可降低這些誤差對(duì)深度估算的影響。
通過(guò)一個(gè)簡(jiǎn)單例子就能輕松理解這一點(diǎn)。假設(shè)相位誤差為 ???，那么傳感器測(cè)得的相位為 。深度誤差即為：
因此，深度誤差與調(diào)制頻率fmod成反比。圖2以圖形方式顯示了這一點(diǎn)。
這個(gè)簡(jiǎn)單公式在很大程度上解釋了為什么高調(diào)制頻率的ToF相機(jī)與低調(diào)制頻率的ToF相機(jī)相比深度噪聲更低且深度誤差更小。
圖2.相位誤差對(duì)距離估計(jì)的影響
使用高調(diào)制頻率的一個(gè)缺點(diǎn)是相位環(huán)繞速度更快，這意味著可以準(zhǔn)確測(cè)量的距離更短。解決此限制的常見(jiàn)辦法是使用多個(gè)以不同速率環(huán)繞的調(diào)制頻率。最低調(diào)制頻率支持準(zhǔn)確測(cè)量較長(zhǎng)距離，但深度誤差（噪聲、多路徑干擾等）也較大，串聯(lián)使用較高調(diào)制頻率可降低深度誤差。圖3顯示了一個(gè)使用三種不同調(diào)制頻率的示例方案。最終深度通過(guò)不同調(diào)制頻率的展開(kāi)相位估計(jì)值加權(quán)來(lái)估算，為較高調(diào)制頻率分配較大的權(quán)重。
圖3.多頻相位展開(kāi)
如果為每個(gè)頻率的權(quán)重選擇最優(yōu)值，則深度噪聲與系統(tǒng)中選擇的調(diào)制頻率的均方根(rms)成反比。對(duì)于恒定深度噪聲預(yù)算，提高調(diào)制頻率可以減少積分時(shí)間或照明功率。
對(duì)性能至關(guān)重要的其他系統(tǒng)方面
開(kāi)發(fā)高性能ToF相機(jī)時(shí)，有許多系統(tǒng)特征需要考慮，這里簡(jiǎn)要介紹其中的一些特性。
圖4.光學(xué)系統(tǒng)架構(gòu)
徑向距離一般被轉(zhuǎn)換為點(diǎn)云信息，代表特定像素的實(shí)際坐標(biāo)（X、Y、Z）信息。通常，最終應(yīng)用僅使用Z圖像映射（景深映射），而不是全部點(diǎn)云。將徑向距離轉(zhuǎn)換為點(diǎn)云需要了解鏡頭內(nèi)在特性和失真參數(shù)。這些參數(shù)是在相機(jī)模塊的幾何校準(zhǔn)期間估算。深度處理算法還能輸出其他信息，例如有源亮度圖像（返回激光信號(hào)的幅度）、無(wú)源2D IR圖像和置信度，這些信息都可以在最終應(yīng)用中使用。深度處理可以在相機(jī)模塊本身中進(jìn)行，或系統(tǒng)中其他地方的主機(jī)處理器中進(jìn)行。
本文涉及的不同系統(tǒng)級(jí)組件概覽如表2所示。這些議題將在未來(lái)的文章中詳細(xì)討論。
表2.3D飛行時(shí)間相機(jī)的系統(tǒng)級(jí)組件
結(jié)論
連續(xù)波飛行時(shí)間相機(jī)是一種強(qiáng)大的解決方案，可為需要高質(zhì)量3D信息的應(yīng)用提供高深度精度。為確保實(shí)現(xiàn)最佳性能水平，有許多因素需要考慮。調(diào)制頻率、解調(diào)對(duì)比度、量子效率和讀數(shù)噪聲等因素決定了圖像傳感器的性能。其他因素是系統(tǒng)級(jí)考慮因素，包括照明子系統(tǒng)、光學(xué)設(shè)計(jì)、電源管理和深度處理算法。所有這些系統(tǒng)級(jí)組件對(duì)于實(shí)現(xiàn)最高精度3D ToF相機(jī)系統(tǒng)至關(guān)重要。
ADI新一代低功耗主動(dòng)降噪芯片重磅上線啦~
目前的許多產(chǎn)品使用低分辨率測(cè)距儀類(lèi)型解決方案來(lái)提供深度信息，以增強(qiáng)2D成像。但是，這種方法有很多限制。對(duì)于可從更高分辨率3D深度信息獲益的應(yīng)用，CW CMOS ToF相機(jī)提供了市場(chǎng)上最高性能的解決方案。表1更詳細(xì)地說(shuō)明了由高分辨率CW ToF傳感器技術(shù)實(shí)現(xiàn)的一些系統(tǒng)特性。這些系統(tǒng)特性還能運(yùn)用于消費(fèi)者使用場(chǎng)景，如視頻背景虛化、面部身份驗(yàn)證和測(cè)量應(yīng)用，以及汽車(chē)使用場(chǎng)景，如駕駛員狀態(tài)監(jiān)控和自動(dòng)化艙內(nèi)配置。
表1.連續(xù)波飛行時(shí)間系統(tǒng)特性連續(xù)波CMOS飛行時(shí)間相機(jī)概述
深度相機(jī)是指每個(gè)像素都會(huì)輸出相機(jī)與場(chǎng)景之間距離的相機(jī)。一種測(cè)量深度的技術(shù)是計(jì)算光從相機(jī)光源行進(jìn)到反射表面再返回相機(jī)所需的時(shí)間。此行程時(shí)間通常被稱為飛行時(shí)間(ToF)。
圖1.連續(xù)波飛行時(shí)間傳感器技術(shù)概要ToF相機(jī)由多個(gè)元件組成（參見(jiàn)圖1），包括：
- 光源，例如垂直腔面發(fā)射激光器(VCSEL)或邊緣發(fā)射激光二極管，其發(fā)射近紅外域的光。最常用的波長(zhǎng)為850 nm和940 nm。光源通常是漫射源（泛光照明），其發(fā)出具有一定散度的光束（即照明區(qū)或FOI），以照射相機(jī)前方的場(chǎng)景。
- 激光驅(qū)動(dòng)器，其調(diào)制光源發(fā)射的光的強(qiáng)度。
- 具有像素陣列的傳感器，其從場(chǎng)景中收集返回光線并輸出每個(gè)像素的值。
- 鏡頭，其將返回光線聚焦到傳感器陣列上。
- 帶通濾波器，其與鏡頭共置，用于濾除以光源波長(zhǎng)為中心的窄帶寬之外的光線。
- 處理算法，其將傳感器輸出的原始幀轉(zhuǎn)換為深度圖像或點(diǎn)云。
人們可以使用多種方法來(lái)調(diào)制ToF相機(jī)中的光線。一種簡(jiǎn)單辦法是使用連續(xù)波調(diào)制，例如50％占空比的方波調(diào)制。在實(shí)踐中，激光波形很少是完美的方波，看起來(lái)可能更靠近正弦波。對(duì)于給定光功率，方形激光波形可產(chǎn)生更好的信噪比，但高頻諧波的存在也會(huì)導(dǎo)致深度非線性誤差。
CW ToF相機(jī)通過(guò)估算發(fā)射信號(hào)與返回信號(hào)的基波之間的相移 ? = 2πftd 來(lái)測(cè)量這兩個(gè)信號(hào)之間的時(shí)間差td。深度可以利用相移 (?) 和光速(c)來(lái)估算，公式如下
其中fmod為調(diào)制頻率。傳感器中的時(shí)鐘產(chǎn)生電路控制互補(bǔ)像素時(shí)鐘，而互補(bǔ)像素時(shí)鐘分別控制兩個(gè)電荷儲(chǔ)存元件（Tap A和Tap B）中的光電荷的累積，以及激光驅(qū)動(dòng)器的激光調(diào)制信號(hào)。返回調(diào)制光的相位可以相對(duì)于像素時(shí)鐘的相位來(lái)測(cè)量（參見(jiàn)圖1右側(cè)）。像素中的Tap A和Tap B之間的差分電荷與返回調(diào)制光的強(qiáng)度和返回調(diào)制光相對(duì)于像素時(shí)鐘的相位成比例。
利用零中頻檢測(cè)原理，使用像素時(shí)鐘和激光調(diào)制信號(hào)之間的多個(gè)相對(duì)相位進(jìn)行測(cè)量。組合這些測(cè)量結(jié)果即可確定返回調(diào)制光信號(hào)中的基波相位。知道該相位即可計(jì)算光從光源行進(jìn)到被觀察的物體再返回到傳感器像素所花的時(shí)間
高調(diào)制頻率的優(yōu)點(diǎn)
在實(shí)踐中，光子散粒噪聲、讀出電路噪聲、多路徑干擾等非理想因素會(huì)導(dǎo)致相位測(cè)量誤差。高調(diào)制頻率可降低這些誤差對(duì)深度估算的影響。
通過(guò)一個(gè)簡(jiǎn)單例子就能輕松理解這一點(diǎn)。假設(shè)相位誤差為 ???，那么傳感器測(cè)得的相位為
。深度誤差即為：因此，深度誤差與調(diào)制頻率fmod成反比。圖2以圖形方式顯示了這一點(diǎn)。
這個(gè)簡(jiǎn)單公式在很大程度上解釋了為什么高調(diào)制頻率的ToF相機(jī)與低調(diào)制頻率的ToF相機(jī)相比深度噪聲更低且深度誤差更小。
圖2.相位誤差對(duì)距離估計(jì)的影響使用高調(diào)制頻率的一個(gè)缺點(diǎn)是相位環(huán)繞速度更快，這意味著可以準(zhǔn)確測(cè)量的距離更短。解決此限制的常見(jiàn)辦法是使用多個(gè)以不同速率環(huán)繞的調(diào)制頻率。最低調(diào)制頻率支持準(zhǔn)確測(cè)量較長(zhǎng)距離，但深度誤差（噪聲、多路徑干擾等）也較大，串聯(lián)使用較高調(diào)制頻率可降低深度誤差。圖3顯示了一個(gè)使用三種不同調(diào)制頻率的示例方案。最終深度通過(guò)不同調(diào)制頻率的展開(kāi)相位估計(jì)值加權(quán)來(lái)估算，為較高調(diào)制頻率分配較大的權(quán)重。
圖3.多頻相位展開(kāi)如果為每個(gè)頻率的權(quán)重選擇最優(yōu)值，則深度噪聲與系統(tǒng)中選擇的調(diào)制頻率的均方根(rms)成反比。對(duì)于恒定深度噪聲預(yù)算，提高調(diào)制頻率可以減少積分時(shí)間或照明功率。
對(duì)性能至關(guān)重要的其他系統(tǒng)方面
開(kāi)發(fā)高性能ToF相機(jī)時(shí)，有許多系統(tǒng)特征需要考慮，這里簡(jiǎn)要介紹其中的一些特性。
?圖像傳感器
圖像傳感器是ToF相機(jī)的關(guān)鍵組件。當(dāng)系統(tǒng)的平均調(diào)制頻率提高時(shí)，大多數(shù)與深度估計(jì)相關(guān)的非理想因素（如偏置、深度噪聲和多路徑偽像）的影響會(huì)減小。因此，傳感器在高調(diào)制頻率（數(shù)百M(fèi)Hz）時(shí)須具有高解調(diào)對(duì)比度（區(qū)分Tap A和Tap B之間光電子的能力）。傳感器在近紅外波長(zhǎng)（如850 nm和940 nm）還需要具有高量子效率(QE)，從而降低在像素中產(chǎn)生光電子所需的光功率。最后，低讀數(shù)噪聲支持檢測(cè)較低返回信號(hào)（遠(yuǎn)處或低反射率物體），從而有助于提高相機(jī)的動(dòng)態(tài)范圍。?光照度
激光驅(qū)動(dòng)器以高調(diào)制頻率調(diào)制光源（例如VCSEL）。對(duì)于給定光功率，為使像素處的有用信號(hào)量最大化，光學(xué)波形需要具有快速上升和下降時(shí)間及干凈的邊沿。照明子系統(tǒng)中激光、激光驅(qū)動(dòng)器和PCB布局的組合對(duì)于實(shí)現(xiàn)這一點(diǎn)至關(guān)重要。還需要進(jìn)行一些標(biāo)定工作以找到最佳光功率和占空比設(shè)置，從而使調(diào)制波形的傅立葉變換中的基波幅度最大化。最后，光功率還需要以安全方式傳輸，激光驅(qū)動(dòng)器和系統(tǒng)層面應(yīng)內(nèi)置一些安全機(jī)制以確保始終符合第1類(lèi)眼部安全限值。?光學(xué)元件
光學(xué)元件在ToF相機(jī)中發(fā)揮著關(guān)鍵作用。ToF相機(jī)有一些獨(dú)特的特性，因此其在光學(xué)方面有一些特殊要求。首先，光源的照明區(qū)域應(yīng)與鏡頭的視場(chǎng)角匹配以獲得最佳效率。鏡頭本身應(yīng)具有高孔徑（低f/#），以獲得更好的光收集效率，這一點(diǎn)也很重要。大孔徑可能導(dǎo)致需要權(quán)衡其他因素，如暗角、淺景深和鏡頭設(shè)計(jì)復(fù)雜度等。低主射線角的鏡頭設(shè)計(jì)也有助于減少帶通濾波器帶寬，從而改善環(huán)境光抑制，提高戶外性能。光學(xué)子系統(tǒng)還應(yīng)針對(duì)所需工作波長(zhǎng)進(jìn)行優(yōu)化（如防反射涂層、帶通濾波器設(shè)計(jì)、鏡頭設(shè)計(jì)），以使吞吐效率最大而雜散光最小。還有許多機(jī)械要求，以確保光學(xué)對(duì)準(zhǔn)在最終應(yīng)用的期望容差范圍內(nèi)。?電源管理
電源管理在高性能3D ToF相機(jī)模塊設(shè)計(jì)中同樣至關(guān)重要。激光調(diào)制和像素調(diào)制產(chǎn)生短的高峰值電流突發(fā)脈沖，這給電源管理解決方案帶來(lái)了一些約束。傳感器集成電路(IC)的一些特性可以幫助降低成像器的峰值功耗。在系統(tǒng)層面還可以應(yīng)用電源管理技術(shù)來(lái)幫助降低對(duì)電源的要求（例如電池或USB）。ToF成像器的主要模擬電源通常需要一個(gè)具有良好瞬態(tài)響應(yīng)和低噪聲的穩(wěn)壓器。圖4.光學(xué)系統(tǒng)架構(gòu)?深度處理算法
最后，系統(tǒng)級(jí)設(shè)計(jì)的另一重大部分是深度處理算法。ToF圖像傳感器輸出原始像素?cái)?shù)據(jù)，需要從這些數(shù)據(jù)中提取相位信息。該操作需要多個(gè)步驟，包括噪聲濾波和相位展開(kāi)。相位展開(kāi)模塊的輸出是激光器發(fā)出的光行進(jìn)到場(chǎng)景再返回到像素的距離測(cè)量結(jié)果，常被稱為范圍或徑向距離。徑向距離一般被轉(zhuǎn)換為點(diǎn)云信息，代表特定像素的實(shí)際坐標(biāo)（X、Y、Z）信息。通常，最終應(yīng)用僅使用Z圖像映射（景深映射），而不是全部點(diǎn)云。將徑向距離轉(zhuǎn)換為點(diǎn)云需要了解鏡頭內(nèi)在特性和失真參數(shù)。這些參數(shù)是在相機(jī)模塊的幾何校準(zhǔn)期間估算。深度處理算法還能輸出其他信息，例如有源亮度圖像（返回激光信號(hào)的幅度）、無(wú)源2D IR圖像和置信度，這些信息都可以在最終應(yīng)用中使用。深度處理可以在相機(jī)模塊本身中進(jìn)行，或系統(tǒng)中其他地方的主機(jī)處理器中進(jìn)行。
本文涉及的不同系統(tǒng)級(jí)組件概覽如表2所示。這些議題將在未來(lái)的文章中詳細(xì)討論。
表2.3D飛行時(shí)間相機(jī)的系統(tǒng)級(jí)組件結(jié)論
連續(xù)波飛行時(shí)間相機(jī)是一種強(qiáng)大的解決方案，可為需要高質(zhì)量3D信息的應(yīng)用提供高深度精度。為確保實(shí)現(xiàn)最佳性能水平，有許多因素需要考慮。調(diào)制頻率、解調(diào)對(duì)比度、量子效率和讀數(shù)噪聲等因素決定了圖像傳感器的性能。其他因素是系統(tǒng)級(jí)考慮因素，包括照明子系統(tǒng)、光學(xué)設(shè)計(jì)、電源管理和深度處理算法。所有這些系統(tǒng)級(jí)組件對(duì)于實(shí)現(xiàn)最高精度3D ToF相機(jī)系統(tǒng)至關(guān)重要。
ADI新一代低功耗主動(dòng)降噪芯片重磅上線啦~
下載文檔
