高清視頻芯片技術(shù)或呈現(xiàn)井噴式發(fā)展
[導(dǎo)讀]隨著近兩年尤其是2010年高清視頻監(jiān)控產(chǎn)品的應(yīng)用取得突飛猛進(jìn)的發(fā)展，預(yù)計(jì)在接下來的1-2年，市場(chǎng)對(duì)高清產(chǎn)品的需求將呈現(xiàn)井噴的趨勢(shì)，需求量的提升一方面會(huì)帶來更高性能和更多功能的需求，另一方面也會(huì)帶來差異化競(jìng)爭(zhēng)的
隨著近兩年尤其是2010年高清視頻監(jiān)控產(chǎn)品的應(yīng)用取得突飛猛進(jìn)的發(fā)展，預(yù)計(jì)在接下來的1-2年，市場(chǎng)對(duì)高清產(chǎn)品的需求將呈現(xiàn)井噴的趨勢(shì)，需求量的提升一方面會(huì)帶來更高性能和更多功能的需求，另一方面也會(huì)帶來差異化競(jìng)爭(zhēng)的進(jìn)一步加劇。而高清視頻SoC作為最能影響到這兩者的核心部分，其技術(shù)的演進(jìn)和性能的提升對(duì)高清視頻終端的市場(chǎng)狀況起到?jīng)Q定性作用。
在討論高清視頻SoC的技術(shù)發(fā)展趨勢(shì)前，我們先簡(jiǎn)單的分析一下目前高清視頻終端（前端）產(chǎn)品的常見組成架構(gòu)。一般的高清視頻終端分為傳感器、ISP、編碼壓縮或轉(zhuǎn)換三個(gè)常見部分，部分高清相機(jī)還會(huì)包含一個(gè)智能處理器。
1.傳感器，指得是我們常常提及的CCD Sensor或CMOS Sensor，如SONY的 ICX 445、ICX274、IMX035/036，Aptina的MT9M033，Omnivison的OV2715等等。主要作用是光電轉(zhuǎn)換，將光信號(hào)轉(zhuǎn)換為后端可以接收識(shí)別的電信號(hào)。
2.ISP，即圖像處理部分，我們常常提及的2A（AWB/AE）或者3A（AWB/AE/AF）都在這里完成的。傳統(tǒng)模式下一般采用一顆DSP或者一顆FPGA來完成對(duì)圖像的后期處理。
3.編碼壓縮或轉(zhuǎn)換，傳感器信號(hào)經(jīng)過ISP部分處理后，一般以SMPTE296M/BT.1120等數(shù)字接口格式傳輸?shù)胶罄m(xù)的編碼壓縮或轉(zhuǎn)換部分，處理成壓縮后的TCP/IP信號(hào)或者非壓縮的HD-SDI信號(hào)。
4.智能視頻分析部分，一般采用一顆單獨(dú)的DSP來實(shí)現(xiàn)，通過該DSP實(shí)現(xiàn)視頻分析功能，如行為分析、視頻診斷、特征識(shí)別等，由于受算法性能有限和跨平臺(tái)移植的難度等限制，目前這類產(chǎn)品應(yīng)用較少。
傳統(tǒng)意義上，這幾個(gè)部分是彼此分開的，不同的部分由不同的芯片來完成，隨著技術(shù)的發(fā)展，越來越多的芯片廠商將后面的兩個(gè)部分融合到了一起，例如NXP的ASC8850，Hisilicon即將發(fā)布的Hi3516，這使得高清視頻終端的集成度越來越高，在這一個(gè)以融合為趨勢(shì)的大背景下，高清視頻SoC在多業(yè)務(wù)融合上的技術(shù)發(fā)展將是最關(guān)鍵的點(diǎn)。
在未來的1-2年，筆者認(rèn)為高清視頻SoC在功耗、編碼性能、ISP、智能分析、解碼和顯示幾個(gè)方面的技術(shù)突破和發(fā)展?fàn)顩r將會(huì)深入影響到終端產(chǎn)品的發(fā)展。
更低的功耗
與以往的編碼芯片一般處于后端的DVR/DVS不同的是，高清的編碼和ISP芯片都處于前端攝像機(jī)部分。如果這些芯片的功耗較高導(dǎo)致發(fā)熱量較大，DVR和DVS可以用加裝散熱片或者制冷風(fēng)扇的方式來保證設(shè)備的正常工作，但是在攝像機(jī)部分采取這些措施顯然不是最佳的選擇，即使安裝了這些設(shè)備能將整機(jī)溫度降低，也無形中增加了故障點(diǎn)和維護(hù)成本。
最理想的情況是高清終端本身的功耗降低到通過自然散熱即可以穩(wěn)定工作的程度。這一方面要求高清視頻芯片本身功耗要更低，同時(shí)也要求其要求匹配的FLASH、DDR等周邊芯片的功耗也要盡可能的降低。但是功耗的降低和性能的提升又是一個(gè)矛盾，編碼能力為1080P的芯片會(huì)比編碼能力為D1的芯片要求更高的功耗。如何解決這個(gè)問題，就取決于芯片廠商的在這方面的技術(shù)實(shí)力了。
更高的編碼壓縮能力
隨著市場(chǎng)對(duì)高清視頻產(chǎn)品的分辨率的要求不斷提高，一般的720P分辨率已經(jīng)有點(diǎn)捉襟見肘，200萬、300萬甚至500萬的需求在不斷涌現(xiàn)，同時(shí)，對(duì)不同格式碼流的需求也日益成為標(biāo)準(zhǔn)配置，這些對(duì)高清視頻芯片的壓縮能力提出了更大的挑戰(zhàn)。
1.目前大部分的高清芯片如TI的DM368、海思的Hi3515/3516、NXP的ASC8850、富瀚的FH8736等都可以做到1080P，也就是可以做到200萬像素的實(shí)時(shí)編碼壓縮，在300萬、500萬像素下一般還無法做到實(shí)時(shí)的編碼，目前性能較高的芯片在500萬像素時(shí)可以做到7-12幀，這已經(jīng)相當(dāng)優(yōu)異。未來的發(fā)展趨勢(shì)肯定是保證主碼流在500萬甚至更高像素下的實(shí)時(shí)編碼壓縮，最好還能提供1-2路實(shí)時(shí)編碼的D1或者720P子碼流，高像素用于本地的預(yù)覽或存儲(chǔ)，低像素用于遠(yuǎn)程的網(wǎng)絡(luò)傳輸。
2.雖然從2007年開始，H.264就已經(jīng)成為安防用視頻設(shè)備的主要壓縮格式，但是隨著視頻設(shè)備在不同的行業(yè)領(lǐng)域的應(yīng)用逐步深入，MPEG4和M-JPEG壓縮格式逐步又有了較多的需求，目前有的芯片已經(jīng)可以同時(shí)支持H.264、MPEG4和M-JPEG三種壓縮格式了，區(qū)別在于是否能夠支持2個(gè)或者3個(gè)壓縮格式碼流的同步傳輸。視頻芯片能夠同時(shí)提供三個(gè)或以上壓縮格式的碼流，也是比較迫切的需求。
圖像處理技術(shù)（ISP）的融合
圖像處理（ISP，Image Signal Processor）是攝像機(jī)里不可缺少的部分，圖像經(jīng)過CCD或者CMOS的采集后，需要經(jīng)過后期的處理才可以較好的適應(yīng)不同的環(huán)境，在不同的光學(xué)條件下都能較好的還原出現(xiàn)場(chǎng)細(xì)節(jié)。圖像處理包含很多部分的功能，但是最主要的就是我們經(jīng)常聽到的2A和3A，2A指的是AWB（自動(dòng)白平衡）和AE（自動(dòng)曝光），3A則是在2A的基礎(chǔ)上加上AF（自動(dòng)聚焦）。
傳統(tǒng)的標(biāo)清網(wǎng)絡(luò)攝像機(jī)和目前市場(chǎng)上絕大多數(shù)的高清網(wǎng)絡(luò)攝像機(jī)中，一般采用一顆獨(dú)立的DSP或者FPGA處理器來實(shí)現(xiàn)ISP功能，經(jīng)過DSP或FPGA處理過的信號(hào)才再次進(jìn)入編碼芯片進(jìn)行壓縮處理。這種方式雖然具備較高的靈活性，使得開發(fā)者在選擇方案的時(shí)候有更多的組合，但是對(duì)于設(shè)備而言，一方面加大了整機(jī)功耗，另外也增加了設(shè)備的復(fù)雜程度，如果有集成度更高的芯片方案將ISP和編碼部分融合在一起無疑是更好的選擇。
另外，現(xiàn)在大部分內(nèi)置ISP功能的視頻芯片對(duì)CMOS Sensor的支持都比較完善，可以直接對(duì)接各主要Sensor廠商的主要產(chǎn)品，但是對(duì)CCD Sensor的支持則相對(duì)有限，還需要開發(fā)者做二次轉(zhuǎn)換，要額外增加一片CPLD或者FPGA，除了在一定程度上降低了開發(fā)難度和周期，比較關(guān)鍵的BOM成本和整機(jī)功耗并無多大的優(yōu)化。
整合智能視頻技術(shù)
智能分析技術(shù)經(jīng)過幾年的發(fā)展，現(xiàn)在已經(jīng)逐步轉(zhuǎn)變了原來技術(shù)先進(jìn)、應(yīng)用無望的尷尬局面，越老越多的在實(shí)際應(yīng)用中得到普及，隨著高清時(shí)代的到來，信息量成倍增長(zhǎng)的前提下，智能視頻技術(shù)已經(jīng)成為必不可少的手段。
早期的智能分析功能主要在后端通過PC實(shí)現(xiàn)，后續(xù)陸續(xù)出現(xiàn)基于DVS或者DVR的形態(tài)，而隨著高清化的到來，智能分析融合到前端的需求已經(jīng)非常迫切，芯片性能的提高為該需求提供了可行性。
根據(jù)智能視頻技術(shù)目前的應(yīng)用情況，預(yù)計(jì)以下幾類分析算法會(huì)最先在高清的前端產(chǎn)品中得到應(yīng)用：視頻診斷算法，主要用于判斷前端設(shè)備的工作狀態(tài)是否正常，是否有模糊、噪點(diǎn)、異常遮擋、視頻丟失等異常情況；行為分析算法，主要用于對(duì)視頻監(jiān)控場(chǎng)景內(nèi)的運(yùn)動(dòng)物體行為的識(shí)別和判定等；人臉檢出和識(shí)別算法，主要用于對(duì)監(jiān)控場(chǎng)景中人臉特征的檢出、識(shí)別和對(duì)比；智能交通算法，主要用于交通違章管理，屬于一類特定的行業(yè)應(yīng)用。[!--empirenews.page--]
按照現(xiàn)在的狀況，芯片廠商暫時(shí)還不具備成熟的條件直接在芯片中內(nèi)置上述算法，比較可行的辦法是在高清視頻芯片中預(yù)留一顆較高主頻的DSP或者ARM核心，開發(fā)者可以自己選擇將上述算法中的某一部分或者全部移植到該DSP或者ARM上，形成帶智能算法的智能相機(jī)。
完善系統(tǒng)配套芯片
系統(tǒng)配套產(chǎn)品主要指的是用于監(jiān)控后端的產(chǎn)品，諸多現(xiàn)場(chǎng)經(jīng)驗(yàn)表明，高清的推廣必須以系統(tǒng)化的方式來做，出了有高質(zhì)量的高清前端，還必須有完善的系統(tǒng)配套產(chǎn)品來解決傳輸、存儲(chǔ)和顯示等重要功能。
NVR和混合DVR用芯片，隨著高清的概念開始深入人心，NVR和混合DVR也逐步成為系統(tǒng)必備的產(chǎn)品。在NVR和混合DVR中使用芯片一般要求具備較強(qiáng)的業(yè)務(wù)處理能力，如列表管理、存儲(chǔ)管理、網(wǎng)絡(luò)管理，同時(shí)對(duì)芯片的PCI等性能要求也較高。
解碼顯示芯片，主要用于高清圖像的顯示，一般要求芯片具備良好的顯示性能，同時(shí)盡可能多的支持多個(gè)輸出，最好支持HDMI或者DVI等數(shù)字高清的輸出接口，而輸出的顯示分辨率則最少要求達(dá)到1080P，甚至更高。
目前業(yè)界主要的芯片制造商都已經(jīng)意識(shí)到高清視頻芯片的整合化趨勢(shì)，并投入大量力量進(jìn)行新一代高清芯片的研發(fā)，不管是率先推出ASC8850的NXP和推出DM368的TI，還是即將推出Hi3516的海思半導(dǎo)體，都已經(jīng)開始在高度融合的高清視頻芯片上有所建樹，同時(shí)也還有一些有影響力的IC廠商正躍躍欲試，相信隨著芯片廠商的努力和推動(dòng)，結(jié)合下游終端廠商的市場(chǎng)推廣和用戶需求的拉動(dòng)，高度集成和高度融合的新一代高清視頻芯片會(huì)取得越來越大的發(fā)展，并逐步成為一個(gè)成熟的產(chǎn)業(yè)。
在討論高清視頻SoC的技術(shù)發(fā)展趨勢(shì)前，我們先簡(jiǎn)單的分析一下目前高清視頻終端（前端）產(chǎn)品的常見組成架構(gòu)。一般的高清視頻終端分為傳感器、ISP、編碼壓縮或轉(zhuǎn)換三個(gè)常見部分，部分高清相機(jī)還會(huì)包含一個(gè)智能處理器。
1.傳感器，指得是我們常常提及的CCD Sensor或CMOS Sensor，如SONY的 ICX 445、ICX274、IMX035/036，Aptina的MT9M033，Omnivison的OV2715等等。主要作用是光電轉(zhuǎn)換，將光信號(hào)轉(zhuǎn)換為后端可以接收識(shí)別的電信號(hào)。
2.ISP，即圖像處理部分，我們常常提及的2A（AWB/AE）或者3A（AWB/AE/AF）都在這里完成的。傳統(tǒng)模式下一般采用一顆DSP或者一顆FPGA來完成對(duì)圖像的后期處理。
3.編碼壓縮或轉(zhuǎn)換，傳感器信號(hào)經(jīng)過ISP部分處理后，一般以SMPTE296M/BT.1120等數(shù)字接口格式傳輸?shù)胶罄m(xù)的編碼壓縮或轉(zhuǎn)換部分，處理成壓縮后的TCP/IP信號(hào)或者非壓縮的HD-SDI信號(hào)。
4.智能視頻分析部分，一般采用一顆單獨(dú)的DSP來實(shí)現(xiàn)，通過該DSP實(shí)現(xiàn)視頻分析功能，如行為分析、視頻診斷、特征識(shí)別等，由于受算法性能有限和跨平臺(tái)移植的難度等限制，目前這類產(chǎn)品應(yīng)用較少。
傳統(tǒng)意義上，這幾個(gè)部分是彼此分開的，不同的部分由不同的芯片來完成，隨著技術(shù)的發(fā)展，越來越多的芯片廠商將后面的兩個(gè)部分融合到了一起，例如NXP的ASC8850，Hisilicon即將發(fā)布的Hi3516，這使得高清視頻終端的集成度越來越高，在這一個(gè)以融合為趨勢(shì)的大背景下，高清視頻SoC在多業(yè)務(wù)融合上的技術(shù)發(fā)展將是最關(guān)鍵的點(diǎn)。
在未來的1-2年，筆者認(rèn)為高清視頻SoC在功耗、編碼性能、ISP、智能分析、解碼和顯示幾個(gè)方面的技術(shù)突破和發(fā)展?fàn)顩r將會(huì)深入影響到終端產(chǎn)品的發(fā)展。
更低的功耗
與以往的編碼芯片一般處于后端的DVR/DVS不同的是，高清的編碼和ISP芯片都處于前端攝像機(jī)部分。如果這些芯片的功耗較高導(dǎo)致發(fā)熱量較大，DVR和DVS可以用加裝散熱片或者制冷風(fēng)扇的方式來保證設(shè)備的正常工作，但是在攝像機(jī)部分采取這些措施顯然不是最佳的選擇，即使安裝了這些設(shè)備能將整機(jī)溫度降低，也無形中增加了故障點(diǎn)和維護(hù)成本。
最理想的情況是高清終端本身的功耗降低到通過自然散熱即可以穩(wěn)定工作的程度。這一方面要求高清視頻芯片本身功耗要更低，同時(shí)也要求其要求匹配的FLASH、DDR等周邊芯片的功耗也要盡可能的降低。但是功耗的降低和性能的提升又是一個(gè)矛盾，編碼能力為1080P的芯片會(huì)比編碼能力為D1的芯片要求更高的功耗。如何解決這個(gè)問題，就取決于芯片廠商的在這方面的技術(shù)實(shí)力了。
更高的編碼壓縮能力
隨著市場(chǎng)對(duì)高清視頻產(chǎn)品的分辨率的要求不斷提高，一般的720P分辨率已經(jīng)有點(diǎn)捉襟見肘，200萬、300萬甚至500萬的需求在不斷涌現(xiàn)，同時(shí)，對(duì)不同格式碼流的需求也日益成為標(biāo)準(zhǔn)配置，這些對(duì)高清視頻芯片的壓縮能力提出了更大的挑戰(zhàn)。
1.目前大部分的高清芯片如TI的DM368、海思的Hi3515/3516、NXP的ASC8850、富瀚的FH8736等都可以做到1080P，也就是可以做到200萬像素的實(shí)時(shí)編碼壓縮，在300萬、500萬像素下一般還無法做到實(shí)時(shí)的編碼，目前性能較高的芯片在500萬像素時(shí)可以做到7-12幀，這已經(jīng)相當(dāng)優(yōu)異。未來的發(fā)展趨勢(shì)肯定是保證主碼流在500萬甚至更高像素下的實(shí)時(shí)編碼壓縮，最好還能提供1-2路實(shí)時(shí)編碼的D1或者720P子碼流，高像素用于本地的預(yù)覽或存儲(chǔ)，低像素用于遠(yuǎn)程的網(wǎng)絡(luò)傳輸。
2.雖然從2007年開始，H.264就已經(jīng)成為安防用視頻設(shè)備的主要壓縮格式，但是隨著視頻設(shè)備在不同的行業(yè)領(lǐng)域的應(yīng)用逐步深入，MPEG4和M-JPEG壓縮格式逐步又有了較多的需求，目前有的芯片已經(jīng)可以同時(shí)支持H.264、MPEG4和M-JPEG三種壓縮格式了，區(qū)別在于是否能夠支持2個(gè)或者3個(gè)壓縮格式碼流的同步傳輸。視頻芯片能夠同時(shí)提供三個(gè)或以上壓縮格式的碼流，也是比較迫切的需求。
圖像處理技術(shù)（ISP）的融合
圖像處理（ISP，Image Signal Processor）是攝像機(jī)里不可缺少的部分，圖像經(jīng)過CCD或者CMOS的采集后，需要經(jīng)過后期的處理才可以較好的適應(yīng)不同的環(huán)境，在不同的光學(xué)條件下都能較好的還原出現(xiàn)場(chǎng)細(xì)節(jié)。圖像處理包含很多部分的功能，但是最主要的就是我們經(jīng)常聽到的2A和3A，2A指的是AWB（自動(dòng)白平衡）和AE（自動(dòng)曝光），3A則是在2A的基礎(chǔ)上加上AF（自動(dòng)聚焦）。
傳統(tǒng)的標(biāo)清網(wǎng)絡(luò)攝像機(jī)和目前市場(chǎng)上絕大多數(shù)的高清網(wǎng)絡(luò)攝像機(jī)中，一般采用一顆獨(dú)立的DSP或者FPGA處理器來實(shí)現(xiàn)ISP功能，經(jīng)過DSP或FPGA處理過的信號(hào)才再次進(jìn)入編碼芯片進(jìn)行壓縮處理。這種方式雖然具備較高的靈活性，使得開發(fā)者在選擇方案的時(shí)候有更多的組合，但是對(duì)于設(shè)備而言，一方面加大了整機(jī)功耗，另外也增加了設(shè)備的復(fù)雜程度，如果有集成度更高的芯片方案將ISP和編碼部分融合在一起無疑是更好的選擇。
另外，現(xiàn)在大部分內(nèi)置ISP功能的視頻芯片對(duì)CMOS Sensor的支持都比較完善，可以直接對(duì)接各主要Sensor廠商的主要產(chǎn)品，但是對(duì)CCD Sensor的支持則相對(duì)有限，還需要開發(fā)者做二次轉(zhuǎn)換，要額外增加一片CPLD或者FPGA，除了在一定程度上降低了開發(fā)難度和周期，比較關(guān)鍵的BOM成本和整機(jī)功耗并無多大的優(yōu)化。
整合智能視頻技術(shù)
智能分析技術(shù)經(jīng)過幾年的發(fā)展，現(xiàn)在已經(jīng)逐步轉(zhuǎn)變了原來技術(shù)先進(jìn)、應(yīng)用無望的尷尬局面，越老越多的在實(shí)際應(yīng)用中得到普及，隨著高清時(shí)代的到來，信息量成倍增長(zhǎng)的前提下，智能視頻技術(shù)已經(jīng)成為必不可少的手段。
早期的智能分析功能主要在后端通過PC實(shí)現(xiàn)，后續(xù)陸續(xù)出現(xiàn)基于DVS或者DVR的形態(tài)，而隨著高清化的到來，智能分析融合到前端的需求已經(jīng)非常迫切，芯片性能的提高為該需求提供了可行性。
根據(jù)智能視頻技術(shù)目前的應(yīng)用情況，預(yù)計(jì)以下幾類分析算法會(huì)最先在高清的前端產(chǎn)品中得到應(yīng)用：視頻診斷算法，主要用于判斷前端設(shè)備的工作狀態(tài)是否正常，是否有模糊、噪點(diǎn)、異常遮擋、視頻丟失等異常情況；行為分析算法，主要用于對(duì)視頻監(jiān)控場(chǎng)景內(nèi)的運(yùn)動(dòng)物體行為的識(shí)別和判定等；人臉檢出和識(shí)別算法，主要用于對(duì)監(jiān)控場(chǎng)景中人臉特征的檢出、識(shí)別和對(duì)比；智能交通算法，主要用于交通違章管理，屬于一類特定的行業(yè)應(yīng)用。[!--empirenews.page--]
按照現(xiàn)在的狀況，芯片廠商暫時(shí)還不具備成熟的條件直接在芯片中內(nèi)置上述算法，比較可行的辦法是在高清視頻芯片中預(yù)留一顆較高主頻的DSP或者ARM核心，開發(fā)者可以自己選擇將上述算法中的某一部分或者全部移植到該DSP或者ARM上，形成帶智能算法的智能相機(jī)。
完善系統(tǒng)配套芯片
系統(tǒng)配套產(chǎn)品主要指的是用于監(jiān)控后端的產(chǎn)品，諸多現(xiàn)場(chǎng)經(jīng)驗(yàn)表明，高清的推廣必須以系統(tǒng)化的方式來做，出了有高質(zhì)量的高清前端，還必須有完善的系統(tǒng)配套產(chǎn)品來解決傳輸、存儲(chǔ)和顯示等重要功能。
NVR和混合DVR用芯片，隨著高清的概念開始深入人心，NVR和混合DVR也逐步成為系統(tǒng)必備的產(chǎn)品。在NVR和混合DVR中使用芯片一般要求具備較強(qiáng)的業(yè)務(wù)處理能力，如列表管理、存儲(chǔ)管理、網(wǎng)絡(luò)管理，同時(shí)對(duì)芯片的PCI等性能要求也較高。
解碼顯示芯片，主要用于高清圖像的顯示，一般要求芯片具備良好的顯示性能，同時(shí)盡可能多的支持多個(gè)輸出，最好支持HDMI或者DVI等數(shù)字高清的輸出接口，而輸出的顯示分辨率則最少要求達(dá)到1080P，甚至更高。
目前業(yè)界主要的芯片制造商都已經(jīng)意識(shí)到高清視頻芯片的整合化趨勢(shì)，并投入大量力量進(jìn)行新一代高清芯片的研發(fā)，不管是率先推出ASC8850的NXP和推出DM368的TI，還是即將推出Hi3516的海思半導(dǎo)體，都已經(jīng)開始在高度融合的高清視頻芯片上有所建樹，同時(shí)也還有一些有影響力的IC廠商正躍躍欲試，相信隨著芯片廠商的努力和推動(dòng)，結(jié)合下游終端廠商的市場(chǎng)推廣和用戶需求的拉動(dòng)，高度集成和高度融合的新一代高清視頻芯片會(huì)取得越來越大的發(fā)展，并逐步成為一個(gè)成熟的產(chǎn)業(yè)。
下載文檔
