飛行時間系統(tǒng)設計：系統(tǒng)概述

這是我們飛行時間 (ToF) 系列的第一篇文章，將概述連續(xù)波 (CW) CMOS ToF 相機系統(tǒng)技術及其相對于機器視覺應用的傳統(tǒng) 3D 成像解決方案的優(yōu)勢。后續(xù)文章將深入探討本文介紹的一些系統(tǒng)級組件，包括照明子系統(tǒng)、光學器件、電源管理和深度處理。

介紹

現(xiàn)在，許多機器視覺應用都需要高分辨率 3D 深度圖像來替代或增強標準 2D 成像。這些解決方案依靠 3D 攝像頭提供可靠的深度信息來保證安全，尤其是當機器在靠近人類的地方操作時。攝像頭還需要在具有挑戰(zhàn)性的環(huán)境中工作時提供可靠的深度信息，例如在具有高反射表面的大空間中以及在存在其他移動物體的情況下。

迄今為止，許多產(chǎn)品都使用低分辨率測距儀類型的解決方案來提供深度信息以增強 2D 成像。但是，這種方法有很多局限性。對于受益于更高分辨率 3D 深度信息的應用，CW CMOS ToF 相機提供了市場上性能最高的解決方案。表 1 更詳細地描述了高分辨率 CW ToF 傳感器技術實現(xiàn)的一些系統(tǒng)功能。這些系統(tǒng)功能還可以轉化為消費者用例，例如視頻散景、面部身份驗證和測量應用，以及汽車用例，例如駕駛員警覺性監(jiān)控和自動車內(nèi)配置。

表 1. 連續(xù)波飛行時間系統(tǒng)特性

深度相機是一種每個像素輸出相機與場景之間距離的相機。測量深度的一種技術是計算光從相機上的光源傳播到反射表面再返回相機所需的時間。此傳播時間通常稱為飛行時間 (ToF)。

ToF 相機由多個元素組成，包括：

· 光源(例如垂直腔面發(fā)射激光器 (VCSEL) 或邊發(fā)射激光二極管)發(fā)射近紅外光。最常用的波長是 850 nm 和 940 nm。光源通常是漫射源(泛光照明)，發(fā)射具有一定發(fā)散度(又稱照明場或 FOI)的光束來照亮相機前方的場景。

· 調節(jié)光源發(fā)射光強度的激光驅動器。

· 具有像素陣列的傳感器，可收集來自場景的返回光并輸出每個像素的值。

· 將返回光聚焦到傳感器陣列上的透鏡。

· 與鏡頭位于同一位置的帶通濾波器可濾除光源波長周圍窄帶寬之外的光。

· 一種處理算法，將傳感器輸出的原始幀轉換為深度圖像或點云。

可以使用多種方法來調制 ToF 相機中的光線。一種簡單的方法是使用連續(xù)波調制，例如占空比為 50% 的方波調制。實際上，激光波形很少是完美的方波，可能更接近正弦波。對于給定的光功率，方波激光波形可產(chǎn)生更好的信噪比，但由于存在高頻諧波，也會引入深度非線性誤差。

CW ToF相機是一種使用連續(xù)波光(Continuous Wave)的時間飛行(Time of Flight)相機，它通過測量發(fā)射信號和返回信號之間的時間差來估算深度。這個時間差是通過計算發(fā)射信號和返回信號的基頻之間的相位偏移來實現(xiàn)的。

首先，我們知道相位偏移?和時間差t_d之間的關系是：

? = 2πf × t_d

其中，f是信號的頻率。

接下來，我們要用這個相位偏移來估算深度。因為光在空氣中的速度是c，所以光在t_d時間內(nèi)走過的距離是c × t_d。但是，這個距離是從相機到物體再返回相機的總距離，所以實際的深度d應該是這個距離的一半：

d = (c × t_d) / 2

現(xiàn)在，我們用相位偏移?來表示t_d：

t_d = ? / (2πf)

將這個表達式代入深度的公式中，我們得到：

d = (c × ?) / (4πf)

所以，根據(jù)相位偏移?和光速c，我們可以估算出深度d。這個公式告訴我們，只要知道信號的頻率f和測量到的相位偏移?，就可以計算出物體的深度。

傳感器中的時鐘生成電路控制互補像素時鐘，這些時鐘分別控制兩個電荷存儲元件(Tap A 和 Tap B)中光電荷的積累，以及激光驅動器的激光調制信號?？梢韵鄬τ谙袼貢r鐘的相位測量返回調制光的相位。像素中 Tap A 和 Tap B 之間的差分電荷與返回調制光的強度以及返回調制光相對于像素時鐘的相位成正比。

使用同相檢測原理，對像素時鐘和激光調制信號之間的多個相對相位進行測量。這些測量結果結合起來，確定返回的調制光信號中基波的相位。知道這個相位就可以計算出光從光源傳播到被觀察的物體再返回傳感器像素所需的時間。

高調制頻率的優(yōu)勢

實際上，光子散粒噪聲、讀出電路噪聲和多徑干擾等非理想因素可能會導致相位測量出現(xiàn)誤差。較高的調制頻率可以降低這些誤差對深度估計的影響。

這個簡單的公式很大程度上解釋了為什么調制頻率高的ToF相機比調制頻率低的ToF相機具有更低的深度噪聲和更小的深度誤差。

使用高調制頻率的一個缺點是相位回繞速度更快，這意味著可以準確測量的范圍更短。解決此限制的常用方法是使用以不同速率回繞的多個調制頻率。最低調制頻率提供無模糊性的大范圍，但深度誤差較大(噪聲、多徑干擾等)，而較高的調制頻率則串聯(lián)使用以減少深度誤差。顯示了具有三種不同調制頻率的此方案的示例。最終深度估計是通過對不同調制頻率的未回繞相位估計進行加權來計算的，其中較高的調制頻率被分配更高的權重。

如果每個頻率的權重都經(jīng)過了最佳選擇，深度噪聲將與系統(tǒng)中所選調制頻率的均方根 (rms) 成反比。對于恒定的深度噪聲預算，增加調制頻率可以減少積分時間或照明功率。

對性能至關重要的其他系統(tǒng)方面

開發(fā)高性能 ToF 相機時需要考慮許多系統(tǒng)特性，本文將簡要介紹其中一些。

圖像傳感器

圖像傳感器是 ToF 相機的關鍵組件。當系統(tǒng)的平均調制頻率增加時，大多數(shù)深度估計非理想性(例如偏差、深度噪聲和多路徑偽影)的影響都會降低。因此，傳感器在高調制頻率(數(shù)百 MHz)下具有高解調對比度(在 Tap A 和 Tap B 之間分離光電子的能力)非常重要。傳感器還需要在近紅外波長(例如 850 nm 和 940 nm)中具有高量子效率 (QE)，以便在像素中產(chǎn)生光電子所需的光功率更少。最后，低讀出噪聲有助于檢測低返回信號(遠或低反射率物體)，從而有助于相機的動態(tài)范圍。

照明

激光驅動器以高調制頻率調制光源(例如 VCSEL)。為了在給定光功率下最大化像素處的有用信號量，光波形需要具有快速的上升和下降時間以及清晰的邊緣。照明子系統(tǒng)中的激光器、激光驅動器和 PCB 布局的組合對于實現(xiàn)這一點都至關重要。還需要進行一些特性分析，以找到最佳光功率和占空比設置，從而最大化調制波形傅里葉變換中基波的幅度。最后，還需要以安全的方式傳輸光功率，并在激光驅動器和系統(tǒng)級內(nèi)置一些安全機制，以確保始終遵守 1 類人眼安全限值。

光學

光學元件在 ToF 相機中起著關鍵作用。ToF 相機具有某些獨特的特性，這些特性推動了特殊的光學要求。首先，光源的照明場應與鏡頭的視場相匹配，以實現(xiàn)最佳效率。鏡頭本身應具有高光圈(低 f/#)，以提高光收集效率，這一點也很重要。大光圈可能會導致暈影、淺景深和鏡頭設計復雜性等其他權衡。低主光線角鏡頭設計還可以幫助降低帶通濾波器帶寬，從而改善環(huán)境光抑制，從而提高戶外性能。光學子系統(tǒng)還應針對所需的工作波長進行優(yōu)化(例如，抗反射涂層、帶通濾波器設計、鏡頭設計)以最大程度地提高吞吐效率并最大程度地減少雜散光。還有許多機械要求，以確保光學對準在最終應用所需的公差范圍內(nèi)。

能源管理

在高性能 3D ToF 相機模塊設計中，電源管理也至關重要。激光調制和像素調制會產(chǎn)生短時間的高峰值電流，這對電源管理解決方案造成了一些限制。傳感器集成電路 (IC) 級別的一些功能可以幫助降低成像器的峰值功耗。還可以在系統(tǒng)級別應用電源管理技術，以幫助減輕對電源(例如電池或 USB)的要求。ToF 成像器的主模擬電源通常需要具有良好瞬態(tài)響應和低噪聲的穩(wěn)壓器。

深度處理算法

最后，系統(tǒng)級設計的另一個重要部分是深度處理算法。 ToF 圖像傳感器輸出原始像素數(shù)據(jù)，需要從中提取相位信息。此操作需要不同的步驟，包括噪聲過濾和相位展開。相位展開塊的輸出是光從激光器到場景再回到像素所經(jīng)過的距離的測量值，通常稱為范圍或徑向距離。

徑向距離通常轉換為點云信息，該信息通過其真實世界坐標(X，Y，Z)表示特定像素的信息。通常，最終應用程序僅使用 Z 圖像圖(深度圖)而不是完整點云。將徑向距離轉換為點云需要了解鏡頭內(nèi)在參數(shù)和失真參數(shù)。這些參數(shù)是在相機模塊的幾何校準期間估算的。深度處理算法還可以輸出其他信息，例如主動亮度圖像(返回激光信號的幅度)、被動 2D IR 圖像和置信度，這些信息都可以用于最終應用程序。深度處理可以在相機模塊本身上完成，也可以在系統(tǒng)中其他地方的主處理器中完成。

表 2 概述了本文中介紹的不同系統(tǒng)級組件。未來文章將更詳細地介紹這些主題。

表 2. 3D 飛行時間相機的系統(tǒng)級組件

結論

連續(xù)波飛行時間相機是一種功能強大的解決方案，可為需要高質量 3D 信息的應用提供高深度精度。要確保實現(xiàn)最佳性能水平，需要考慮許多因素。調制頻率、解調對比度、量子效率和讀出噪聲等因素決定了圖像傳感器級別的性能。其他因素是系統(tǒng)級考慮因素，其中包括照明子系統(tǒng)、光學設計、電源管理和深度處理算法。所有這些系統(tǒng)級組件對于實現(xiàn)最高精度 3D ToF 相機系統(tǒng)都至關重要。這些系統(tǒng)級主題將在后續(xù)文章中更詳細地介紹。