高速全局快門圖像傳感器如何減輕基于AI的視覺系統(tǒng)的負(fù)擔(dān)

作者：Ganesh Narayanaswamy

視覺傳感器對于數(shù)據(jù)采集正變得越來越重要。

最初的簡單圖像傳感器為攝影應(yīng)用開發(fā)，如今的圖像傳感器用于向人工智能(AI)和機(jī)器學(xué)習(xí)系統(tǒng)提供高質(zhì)量的輸入。

這些系統(tǒng)已成為利用新的和創(chuàng)新的處理器架構(gòu)的精密決策實體。

邊緣數(shù)據(jù)采集

盡管邊緣數(shù)據(jù)采集器件本質(zhì)上主要是模擬的，但是圖像傳感器的獨特之處在于：

它們的輸出在連續(xù)的動態(tài)光學(xué)輸入上進(jìn)行時分復(fù)用

它們需要有能力在輸出時保持轉(zhuǎn)換后的光輸入的完整性來提供圖像輸出

提供的圖像輸出具有最佳質(zhì)量，支持重要的處理

這些要求和隨后的結(jié)果可能會對視覺系統(tǒng)做出的決策的準(zhǔn)確性產(chǎn)生重大影響，而這一結(jié)果定義了整個自動化系統(tǒng)的安全性、可靠性和收益率。

基于機(jī)器學(xué)習(xí)的視覺系統(tǒng)

機(jī)器學(xué)習(xí)的出現(xiàn)推動了圖像傳感器的創(chuàng)新，其性能水平得到了提高，可以支持各種應(yīng)用。視覺輸入是高保真數(shù)據(jù)–您所看到的就是輸入到系統(tǒng)中的信息。

如今，AI算法能夠檢測、識別和分類這些輸入并生成準(zhǔn)確的決策輸出。這些輸出的可靠性取決于輸入的質(zhì)量及其算法的準(zhǔn)確性，以及處理這些算法的神經(jīng)網(wǎng)絡(luò)。

基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的視覺系統(tǒng)主要使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)算法來創(chuàng)建功能強(qiáng)大的自動識別專家系統(tǒng)。

在這些系統(tǒng)中，增加CNN層的深度會提高推理的準(zhǔn)確性，但是更多的層也會對這些網(wǎng)絡(luò)在訓(xùn)練階段學(xué)習(xí)所花費的時間以及系統(tǒng)完成推斷的延遲產(chǎn)生不利影響 (不要忘了過擬合也會影響結(jié)果和功耗)。

同樣，高質(zhì)量的圖像輸出使視覺系統(tǒng)能夠攜帶最少的CNN圖層集，但還能產(chǎn)生高度準(zhǔn)確的推斷。在以低成本和小尺寸獲得可快速部署的智能系統(tǒng)的同時，還實現(xiàn)高性能和低功耗，這帶來了顯著的好處。

典型的卷積神經(jīng)網(wǎng)絡(luò)(CNN)

深度學(xué)習(xí)算法如CNN資源極其密集。如今，有各種處理引擎，包括CPU、GPU、FPGA、專用加速器和最新的微控制器。

設(shè)計基于CNN的視覺系統(tǒng)還需要強(qiáng)大的優(yōu)化庫支持。涵蓋從專有(如MVTec的HALCON＆MERLIC，MATLAB的深度學(xué)習(xí)工具箱或Cognex的ViDi)到標(biāo)準(zhǔn)工具(如OpenCV)以及軟硬件的整合功能。

這些選擇直接關(guān)系到產(chǎn)品的上市時間。資源密集型處理器通常需要更大的外形尺寸，如散熱器的功耗附加組件，或者僅需要較大的空閑空間以通過對流來耗散功率。

提供高質(zhì)量輸出的圖像傳感器可無需昂貴的處理器、昂貴的第三方庫和/或新庫的創(chuàng)建需求，以及最佳地結(jié)合硬件和軟件資源所需的昂貴工具。

換句話說，這些傳感器極大地降低了總擁有成本(TCO)，并增加了在各種應(yīng)用和市場中的采用率。

圖像傳感器輸入到機(jī)器學(xué)習(xí)系統(tǒng)

對傳遞到CNN層的圖像傳感器輸出有相當(dāng)高的要求，包括：

全局快門可以捕獲場景并保留場景以最小化運動偽影

高全局快門效率，以確保每個像素中保留的場景不會被該像素光路之外的光輸入破壞

足夠大的像素尺寸，即使在充滿挑戰(zhàn)的光線條件下也能支持好的圖像質(zhì)量

圖像輸出中的總噪聲低，以確保高完整性輸入

在運行和待機(jī)狀態(tài)下低功耗，應(yīng)對以對流傳熱為常態(tài)的攝像系統(tǒng)的典型挑戰(zhàn)。

這些特性取決于像素架構(gòu)和相關(guān)電路徑的設(shè)計。CMOS圖像傳感器的結(jié)構(gòu)和設(shè)計如AR0234CS滿足這些需求，非常適合基于CNN的視覺系統(tǒng)。

高速接口賦能快速系統(tǒng)

像素的質(zhì)量可能極佳，且經(jīng)過精心設(shè)計以生成高質(zhì)量的圖像，但是由于帶寬限制，整個視覺系統(tǒng)可能仍會出現(xiàn)性能不佳的情況。當(dāng)今的傳感器都配備了SerDes接口，但是這些接口的流量數(shù)據(jù)速率會影響整個系統(tǒng)的質(zhì)量。

高幀速率要求這些接口以高速傳輸圖像數(shù)據(jù)。同樣，傳感器必須為每幀輸出(fps/mW)消耗低功耗。這些特性支持將系統(tǒng)定時和功率預(yù)算轉(zhuǎn)移到最需要的地方-處理引擎-可以合并最新的神經(jīng)網(wǎng)絡(luò)和復(fù)雜算法。

這使圖像處理器能夠提取圖像數(shù)據(jù)中的細(xì)微差別，這些差別可能是應(yīng)用的重要內(nèi)容。視覺系統(tǒng)開發(fā)人員因此可以使其系統(tǒng)方案在競爭中脫穎而出。

AR0234CS 230萬像素CMOS圖像傳感器

AR0234CS 230萬像素CMOS圖像傳感器具備高數(shù)據(jù)速率MIPI接口，非常適合基于AI的視覺系統(tǒng)。加上它高幀速率、低功耗全幀速率和全分辨率，視覺系統(tǒng)開發(fā)人員可以將大部分時間和功耗預(yù)算分配給處理器。

免責(zé)聲明：本文內(nèi)容由21ic獲得授權(quán)后發(fā)布，版權(quán)歸原作者所有，本平臺僅提供信息存儲服務(wù)。文章僅代表作者個人觀點，不代表本平臺立場，如有問題，請聯(lián)系我們，謝謝！