您是否看過奧迪自動停車技術(shù)演示，轎車無需駕駛員干預(yù)，便可自動找到停車位并停泊。您是否使用Kinect控制器玩過Xbox 360游戲，或者剛剛咬下您從本地水果店購買的一塊上好的水果。如果有，那您可能就是Smarter視覺系統(tǒng)時代到來的見證人了。從最高級電子系統(tǒng)到普通蘋果，Smarter視覺技術(shù)影響著各種形式的產(chǎn)品。雖然當今各種系統(tǒng)已足以讓人稱奇，但一些專家預(yù)測未來10年，從汽車到工廠自動化、醫(yī)療、監(jiān)控、消費、航空航天與國防的絕大多數(shù)電子系統(tǒng)，都將包含功能更加出色的Smarter視覺技術(shù)。
隨著Smarter視覺系統(tǒng)高級程度的提高，我們很可能有機會乘坐網(wǎng)絡(luò)化高速公路中川流不息的自動駕駛汽車。直覺外科等醫(yī)療設(shè)備令人驚訝的機器人輔助外科系統(tǒng)將進一步發(fā)展，可幫助外科醫(yī)生實施遠程外科手術(shù)。電視與網(wǎng)真將達到新的身臨其境及互動水平，而電影院、家庭及店鋪屏幕上顯示的內(nèi)容則將迎合每個消費者的興趣，甚至是我們的情緒。
先進的視頻系統(tǒng)不但可增強和分析圖像，而且還可根據(jù)這些分析觸發(fā)行動，從而顯著控制了計算功能需求
Smarter視覺的賽靈思All Programmable解決方案處于這次革命的前沿。賽靈思以首款在單個芯片上整合ARM雙核CortexTM-A9 MPCORETM、可編程邏輯以及各種重要外設(shè)的器件ZynqTM-7000 All Programmable SoC為基礎(chǔ)，已推出一款工具與IP的支持性基礎(chǔ)架構(gòu)，其將在實現(xiàn)這些視覺創(chuàng)新開發(fā)與加速交付的過程中發(fā)揮重要作用。該支持性基礎(chǔ)架構(gòu)包含VivadoTM HLS(高級綜合)、全新IP Integrator工具、OpenCV(計算機視覺)庫、SmartCORETM IP以及專用開發(fā)套件。
賽靈思公司戰(zhàn)略及市場營銷高級副總裁Steve Glaser表示：“我們正在通過賽靈思All ProgrammableSmarter視覺技術(shù)幫助我們的客戶開創(chuàng)新一代更智能系統(tǒng)。在過去十年里，客戶已使用我們的FPGA為在其系統(tǒng)中使用的處理器上運行速度偏慢的功能提速。有了Zynq-7000 All Programmable SoC，處理器和FPGA邏輯將位于同一芯片上，這就意味著開發(fā)人員現(xiàn)在擁有一款非常適合更智能應(yīng)用的硅芯片平臺。”
就器件支持而言，Glaser表示：“我們已使用由Vivado HLS、全新IP Integrator工具、OpenCV庫、SmartCORE IP以及開發(fā)套件組成的穩(wěn)健開發(fā)環(huán)境為Zynq-7000 All Programmable SoC提供輔助。在這些Smarter視覺技術(shù)的幫助下，我們的客戶不但能夠跨越實現(xiàn)新一代設(shè)計，而且還可實現(xiàn)全新的效率水平，降低系統(tǒng)功耗，提升系統(tǒng)性能并大幅減少材料清單，從而可在提升盈利能力(因這些創(chuàng)新產(chǎn)品的推出步伐加快)的同時豐富生活，甚至挽救生命。”
從啞巴攝像機到Smarter視覺
更智能系統(tǒng)的根源是嵌入式視覺。根據(jù)迅速發(fā)展的行業(yè)組織“嵌入式視覺聯(lián)盟”(www.embedded-vision.com/)的定義，嵌入式視覺融入了兩種新興技術(shù)：嵌入式系統(tǒng)(區(qū)別于使用處理器的計算機的任何電子系統(tǒng))和計算機視覺(有時也叫機器視覺)。
嵌入式視覺聯(lián)盟創(chuàng)始人兼咨詢公司BDTI首席執(zhí)行官Jeff Bier表示，嵌入式視覺技術(shù)已經(jīng)給多個行業(yè)造成顯著的影響，因為這個領(lǐng)域的發(fā)展已經(jīng)遠遠超越了電機驅(qū)動旋轉(zhuǎn)及變焦的模擬攝像機系統(tǒng)時代。Bier表示：“我們都已經(jīng)在數(shù)字時代生活了一段時間，已經(jīng)看到嵌入式視覺迅速從擅長于壓縮、存儲或者增強攝像頭拍攝內(nèi)容觀感的早期數(shù)字系統(tǒng)，迅速發(fā)展成為如今能夠知曉拍攝內(nèi)容的Smarter嵌入視覺系統(tǒng)。”
此外，先進的嵌入式視覺系統(tǒng)不僅能增強和分析圖像，而且還可根據(jù)那些分析觸發(fā)行動。由此，處理量及計算功能以及算法高級程度都得到了顯著提高。監(jiān)控市場的快速發(fā)展就是這種顯著發(fā)展的最好例證。
二十年前，監(jiān)控系統(tǒng)廠商競相提供得到機械系統(tǒng)強化的最佳透鏡，其可執(zhí)行能夠?qū)崿F(xiàn)更清晰、更寬廣視野的自動對焦和旋轉(zhuǎn)。這些系統(tǒng)基本上由通過同軸線纜連接模擬監(jiān)控器的模擬視頻攝像機和安保人員監(jiān)測的視頻錄制設(shè)備組成，其清晰度、可靠性以及因此而產(chǎn)品的有效性主要取決于光學(xué)設(shè)備與透鏡的質(zhì)量以及監(jiān)控攝像機播放內(nèi)容的安保人員的盡職程度。
隨著嵌入式視覺技術(shù)的推出，監(jiān)控設(shè)備公司開始使用基于數(shù)字技術(shù)的較低成本攝像頭。該數(shù)字處理技術(shù)為其系統(tǒng)帶來了卓越的特性，不但性能遠超基于透鏡的模擬系統(tǒng)，而且價格更為低廉。魚眼透鏡以及采用各種視覺專用算法的嵌入式處理系統(tǒng)顯著增強了攝像頭所生成圖像的質(zhì)量。針對光照條件進行校正的技術(shù)可改善對焦、增強色澤和數(shù)字縮放觀測區(qū)域，無需使用機械電機控制來執(zhí)行平移、傾斜和縮放，從而可進一步提高系統(tǒng)可靠性。數(shù)字信號處理系統(tǒng)實現(xiàn)了1080p以及甚至更高的視頻分辨率。
但可通過數(shù)字信號處理操縱的更清晰圖像只是開始。監(jiān)控系統(tǒng)制造商已經(jīng)開始使用先進程度大為改觀的像素處理技術(shù)開發(fā)更加高級的嵌入式視覺系統(tǒng)，其可在數(shù)字系統(tǒng)正在采集的高質(zhì)量圖像上實時執(zhí)行分析。這些最初的嵌入式視覺系統(tǒng)只能檢測具體的顏色、形狀和移動。該功能迅速發(fā)展成了具有下列功能的算法：可檢測某些事物是否跨越了攝像頭視野中的虛擬柵欄，確定圖像中的對象是否是一個人，以及鏈接到數(shù)據(jù)庫后甚至可識別是哪一個人。
可疑行為
最先進的監(jiān)控系統(tǒng)所提供的分析功能能夠跟蹤受監(jiān)測個體穿越安保網(wǎng)絡(luò)視野，甚至可跟蹤他們離開攝像頭視野后進入盲點，然后進入監(jiān)控網(wǎng)絡(luò)的另一部攝像頭視野。視覺設(shè)計人員已經(jīng)開發(fā)出一些此類系統(tǒng)，用于檢測異常或可疑移動。賽靈思工業(yè)、科學(xué)及醫(yī)療(ISM)事業(yè)部系統(tǒng)架構(gòu)師Mark Timmons表示：“分析是當今監(jiān)控市場最大的趨勢。它可克服人為錯誤，甚至取代細致的人工觀察及決策?？梢韵胂螅诨疖囌竞瓦\動賽事等擁擠的環(huán)境中，監(jiān)控難度極大。所以如果有分析功能，發(fā)現(xiàn)過渡擁擠的危險情況或跟蹤表現(xiàn)有可疑行為或過激行為的個人，就會有明顯的優(yōu)勢。”
為進一步增強這種分析功能，提升這些系統(tǒng)的有效性，監(jiān)控以及眾多其它使用Smarter視覺技術(shù)的市場正在更多地使用“融合”架構(gòu)，將攝像頭與熱成像、雷達、聲納以及光/激光探測與測距(LIDAR)等其它感測技術(shù)相結(jié)合。這樣系統(tǒng)可實現(xiàn)夜視功能，檢測熱溫/熱能簽名，或捕獲單憑攝像頭無法采集或無法看到的對象。該功能可顯著減少虛假檢測，實現(xiàn)更精確的分析。毫無疑問，技術(shù)融合和數(shù)據(jù)分析會提高復(fù)雜性，需求更為強大的分析處理能力。
Timmons提到，這個市場的另一大趨勢是執(zhí)行所有此類復(fù)雜分析的產(chǎn)品都位于監(jiān)控系統(tǒng)網(wǎng)絡(luò)的“邊緣”，即位于每一部攝像頭中，而不是由每一部攝像頭將其數(shù)據(jù)傳輸?shù)街醒氪笮蜋C系統(tǒng)，再由大型機根據(jù)這些復(fù)饋進行更精細的分析。本地化分析功能會給整體安全系統(tǒng)增加靈活性，使系統(tǒng)中每個點都能夠更加迅速準確地執(zhí)行檢測，因而如果攝像頭真正發(fā)現(xiàn)了切實的威脅，就可更迅速地向操作人員發(fā)出告警。
本地化分析功能意味著每個單元不僅需要更強大的處理功能來強化和分析其所發(fā)現(xiàn)的事物，而且還必須相當緊湊，并能夠整合高度集成的電子產(chǎn)品。并且由于每個單元都必須能夠可靠地與網(wǎng)絡(luò)其余部分通信，它還必須集成電子通信功能，進一步增大計算復(fù)雜性。這些監(jiān)控單元逐漸通過無線網(wǎng)絡(luò)連接，成為更大規(guī)模監(jiān)控系統(tǒng)的組成部分;而且這些監(jiān)控系統(tǒng)正日益成為更大規(guī)模企業(yè)網(wǎng)絡(luò)乃至更大規(guī)模全球網(wǎng)絡(luò)的組成部分，如美國軍方全球信息網(wǎng)格(見賽靈思期刊第69期封面專題：www.xilinx.com/publications/archives/xcell/Xcell69.pdf )。
這種高復(fù)雜性正出現(xiàn)在軍事和防務(wù)市場中的各個領(lǐng)域，從步兵頭盔到與中央司令部聯(lián)網(wǎng)的防務(wù)人造衛(wèi)星，無所不包。可能更讓人驚嘆的是，Smarter視覺技術(shù)進入其它市場，提高生活質(zhì)量與安全性的速度。
Smarter視覺成就完美蘋果
現(xiàn)在以蘋果為例。有沒有想過蘋果是怎么以如此良好的狀態(tài)進入你的雜貨店的?賽靈思工業(yè)科學(xué)及醫(yī)療業(yè)務(wù)部架構(gòu)師Giulio Corradi表示，食品公司正在將最新更智能視覺系統(tǒng)用于食品檢驗流水線，將壞蘋果從好蘋果中篩選出來。Corradi表示，高速食品檢驗流水線上使用的第一代嵌入式視覺系統(tǒng)通常使用一個或多個攝像頭發(fā)現(xiàn)蘋果或其它農(nóng)副產(chǎn)品表面上的瑕疵。如果嵌入式視覺系統(tǒng)發(fā)現(xiàn)有非正常色澤，該蘋果就會被打上標記/篩選出來進行進一步檢測，或者扔掉。
皮下檢測
但是如果在此之前的某個時候水果曾掉落過，但傷痕難以察覺會怎么樣呢?Corradi表示：“在某些情況下，掉落造成的損壞攝像頭可能難以發(fā)現(xiàn)，只能用肉眼查看。損壞可能實際位于蘋果的果肉中。所以一些Smarter視覺系統(tǒng)在攝像頭上整合了紅外傳感器，用以檢驗蘋果表皮下的損壞。發(fā)現(xiàn)受損蘋果，就可觸發(fā)機械分揀機將蘋果揀出流水線，以免其被包裝發(fā)往雜貨店。”如果沒有更智能融合視覺系統(tǒng)，損壞的蘋果會通過檢測。損傷會在蘋果擺放在雜貨店貨架上時變得明顯，這樣該水果可能就必須要扔掉了。一個壞蘋果會弄壞一堆蘋果。
此外，分析功能還可幫助食品公司判斷受損蘋果是否損傷不太大，還可轉(zhuǎn)入新的檢驗流水線，由另一套Smarter視覺系統(tǒng)判斷它是否適用于其它用途，如制作蘋果醬、果脯或者如果損傷太大，可用于堆制肥料。
Corradi表示，工廠車間是應(yīng)用Smarter視覺的另一場合。越來越多的工廠使用機器人輔助技術(shù)或完全自動化機器人生產(chǎn)線幫助制造商根據(jù)不同任務(wù)更換機械設(shè)備。機器人周圍的傳統(tǒng)安全籠過于約束(或太小)，無法滿足其制造不同產(chǎn)品系列的移動需求。
虛擬屏障可降低工廠安全事故，然而為什么不在游樂場、在我們家中的游泳池周圍或汽車上也安裝虛擬屏障呢?
故為保護工人的安全，同時也避免制約自動化工廠生產(chǎn)線的動作范圍，企業(yè)正在使用Smarter視覺建立安全系統(tǒng)。攝像頭和激光會豎立“虛擬柵欄或屏障”，如果有人在產(chǎn)品正在生產(chǎn)時過于靠近工廠生產(chǎn)線，其可向工作人員(和安全監(jiān)測人員)發(fā)出告警聲。部分設(shè)施包含多相虛擬屏障系統(tǒng)，在有人跨越外部屏障時其將發(fā)出告警聲，然后在此人跨越第二道屏障、接近機器人時自動關(guān)閉整條生產(chǎn)線，以避免發(fā)生傷害事故。嵌入式視覺聯(lián)盟的Bier提到，這類虛擬屏障技術(shù)有廣泛的應(yīng)用性。Bier說：“它對降低工廠安全事故數(shù)量能起到明顯的作用，然而為什么不在游樂場中，或是在我們家中的游泳池周圍，在轎車上也安裝上虛擬屏障呢?我想我們將很快看到大量虛擬屏障系統(tǒng)出現(xiàn)在我們的日常生活中。”
Smarter視覺技術(shù)可提升駕駛體驗
汽車是另一個全力推崇Smarter視覺的市場，其可實現(xiàn)更輕松、更安全的駕駛體驗。賽靈思汽車業(yè)務(wù)部系統(tǒng)架構(gòu)師Paul Zoratti表示，高級駕駛員輔助系統(tǒng)(ADAS)就是使用包括Smarter視覺在內(nèi)的遠程傳感技術(shù)的整體體現(xiàn)，其可輔助駕駛員安全駕駛(見賽靈思期刊第66期的封面專題，www.xilinx.com/publications/archives/xcell/Xcell66.pdf )。
過去十年中的每一年中，汽車制造商不但會在其豪華車型中新增各類甚至更優(yōu)異的駕駛員輔助特性，同時還在其運動車和標準車系列中實現(xiàn)了數(shù)量日漸增多的駕駛員輔助功能。盲點檢測、變道輔助、行人及標牌檢測等眾多此類功能會在感測到潛在危險情況時，向駕駛?cè)藛T發(fā)出警告。汽車制造商最近推出的車型甚至還可提供更為高級的系統(tǒng)，如自動緊急制動和車道保持等。它們不僅可監(jiān)測車輛環(huán)境，發(fā)現(xiàn)潛在問題，而且還可輔助駕駛員采取糾正措施，避免事故或減輕其嚴重性。
Zoratti指出，現(xiàn)今某些新型轎車裝配有四個攝像頭，分別位于車輛兩側(cè)及前后，可實現(xiàn)車輛周邊環(huán)境的360度不間斷環(huán)視。雖然第一代環(huán)視系統(tǒng)只是使用這些攝像頭為駕駛員提供圖像，但未來系統(tǒng)將融入更多的駕駛員輔助功能。使用這四個攝像頭和圖像處理分析功能，這些新一代系統(tǒng)不但可同步生成汽車鳥瞰圖，而且還可在遇到行人時警示潛在危險。此外，在汽車以更高速度行進時，其可使用車身側(cè)面及后面的攝像頭進行盲點檢測、輔助變道，并在偏離車道時告警。在擋風(fēng)玻璃后新增一個前視攝像頭，可支持交通標識識別和前方碰撞告警功能。最后，當駕駛員抵達目的地，并啟動自動停車時，系統(tǒng)將使用這些攝像頭及其它傳感器幫助汽車半自動駛?cè)胪＼囄弧?/p>
Zoratti還表示，實時執(zhí)行這些任務(wù)需要大量的處理功能，這恰好是并行硬件計算的長處。這就是為什么許多早期駕駛員輔助系統(tǒng)將獨立微處理器與FPGA搭配使用，由FPGA處理大多數(shù)并行計算，用微處理器執(zhí)行串行決策。
與監(jiān)視等在每個攝像頭上執(zhí)行分析功能的其它市場不同，各種汽車成本壓力正在促進分析功能在中央計算中心執(zhí)行。這樣，汽車制造商可最大限度降低每個攝像頭傳感器的成本，進而最終降低整個系統(tǒng)成本。這就意味著中央單元的處理平臺需要提供極高的性能和帶寬，才能支持四路、五路乃至六路實時視頻輸入的同步處理。
Smarter視覺技術(shù)可延長使用壽命
另一個Smarter視覺正在實現(xiàn)顯著差異化的領(lǐng)域是醫(yī)療電子行業(yè)，其在各種醫(yī)療成像系統(tǒng)中廣泛使用Smarter視覺技術(shù)，從內(nèi)窺鏡及成像掃描裝置(CT、MRI等)到諸如Intuitive Surgical公司的達芬奇(Da Vinci)等機器人外科系統(tǒng)，無一例外。詳細介紹見賽靈思期刊第77期(見：www.xilinx.com/publications/archives/xcell/Xcell77.pdf )。intricate
達芬奇高級3D視覺系統(tǒng)可幫助外科醫(yī)生操縱極其精度、流暢以及觸覺敏感的機器人外科儀器，完成各種精細而又復(fù)雜的外科手術(shù)。每誕生一代新系統(tǒng)，外科醫(yī)生就能夠執(zhí)行更多數(shù)量的各種外科手術(shù)，確保更好的治療效果和更短的恢復(fù)時間?？刂坪蛥f(xié)調(diào)手術(shù)過程的技術(shù)精密程度令人嘆為觀止，這主要要歸功于處理能力和邏輯的完美結(jié)合。因而，每一代更新技術(shù)都將從處理器和邏輯的更高集成中獲益。
Smarter視覺可實現(xiàn)身臨其境的體驗
此外，Smarter視覺在讓我們保持聯(lián)系方面也在取得重大進步。如果您在現(xiàn)代辦公樓里工作，您的公司很可能至少有一個會議室安裝有高級網(wǎng)真會議系統(tǒng)。這不僅便于您與世界各地的參會者對話，而且還能親眼看到他們，就像在身邊面對面交流一樣。這些視頻會議系統(tǒng)的精密程度在不斷提高，以致于能感知在桌邊或者會議中發(fā)言的人是誰，然后可自動將鏡頭拉近并對準此人，用更高畫質(zhì)的逼真視頻突出顯示。
賽靈思廣播及消費類市場營銷總監(jiān)Ben Runyan表示，開發(fā)網(wǎng)真技術(shù)的企業(yè)正在尋求為用戶創(chuàng)造更加身臨其境體驗的途徑。Runyan稱：“這樣做的目的是讓用戶感覺他們同處一間會議室，但實際上他們可能身處地球兩端。要做到這一點，需要業(yè)界一流的攝像頭及顯示技術(shù)，這需要高級圖像處理技術(shù)。隨著這些技術(shù)日益變得更加高級，可帶來更加逼真的體驗，它不但將簡化協(xié)作，讓企業(yè)工作效率進一步提高，同時還可大幅降低差旅需求與費用。”
圖1 ：在駕駛員輔助應(yīng)用中，Zynq All Programmable SoC與多芯片多攝像頭系統(tǒng)的對比
賽靈思：面向Smarter視覺的All Programmable
要全面快速推進Smarter視覺技術(shù)的發(fā)展，滿足新市場需求，就必須擁有一款具有極高靈活性的處理平臺、豐富的資源組合以及致力于推進Smarter視覺技術(shù)發(fā)展的可靠生態(tài)系統(tǒng)。過去10年來，賽靈思器件在幫助各企業(yè)推進這些視覺系統(tǒng)創(chuàng)新方面一直發(fā)揮著重大作用。歷經(jīng)五年發(fā)展后的今天，賽靈思推出了一款整體解決方案，其將幫助Smarter視覺應(yīng)用開發(fā)商快速推出新一代創(chuàng)新技術(shù)。
10多年來，嵌入式視覺技術(shù)設(shè)計人員一直充分利用賽靈思FPGA的可編程性、并行計算功能和快速I/O功能滿足大量嵌入式視覺系統(tǒng)的需求。過去，設(shè)計人員用FPGA加速系統(tǒng)中可能拖慢主處理器的功能，或者用FPGA來運行僅靠處理器不能執(zhí)行的并行計算任務(wù)。而現(xiàn)在隨著Zynq-7000 All Programmable SoC的推出，嵌入式視覺技術(shù)開發(fā)人員可獲得一款理想開發(fā)新一代Smarter視覺應(yīng)用的全面可編程器件。
賽靈思視頻技術(shù)工程設(shè)計總監(jiān)Jose Alvarez表示：“Smarter視覺技術(shù)可在能夠在同一開發(fā)板上通信的不同處理器和FPGA中實現(xiàn)，而Zynq SoC則為電子產(chǎn)業(yè)帶來了前所未有的高集成度?，F(xiàn)在，我們能通過同一芯片上處理器和邏輯之間3,000個高性能連接以芯片速度而不是板級速度在主智能處理器和FPGA邏輯之間交換信息。”
圖1展現(xiàn)了Zynq SoC在創(chuàng)建多功能車載駕駛員輔助系統(tǒng)時相對于傳統(tǒng)多攝像頭、多芯片架構(gòu)的優(yōu)勢。賽靈思架構(gòu)(圖下左)可使用連接至一個Zynq SoC的一組攝像頭，實現(xiàn)盲點檢測、360度環(huán)視、車道偏離告警以及行人檢測等功能綁定。相反，現(xiàn)有多功能駕駛員輔助系統(tǒng)需要使用多塊芯片和多個攝像頭，其不但可讓集成復(fù)雜化，對性能和系統(tǒng)功耗造成不利影響，而且還可導(dǎo)致BOM成本上升。
一些半導(dǎo)體芯片廠商提供將ARM處理器和DSP或GPU結(jié)合的ASSP，但這類器件過于僵化，或是難以為當今眾多更智能應(yīng)用提供足夠的計算性能?；谶@些器件的解決方案往往需要增加獨立的FPGA來解決此類低效率問題。
可編程性與性能
Zynq SoC相對于以GPU和DSP為中心的SoC而言，其主要優(yōu)勢就是具有的可編程性和高性能。ARM處理系統(tǒng)具有軟件可編程性，F(xiàn)PGA邏輯可通過HDL或C++編程，甚至I/O也是全面可編程的。這樣，客戶就能創(chuàng)建出適合其特定應(yīng)用的極高性能Smarter視覺系統(tǒng)，并讓其系統(tǒng)從競爭產(chǎn)品中脫穎而出。
圖2給出了smarter視覺系統(tǒng)的一般性信號流程，從中可以看出Zynq All Programmable SoC相對于基于ARM和DSP以及基于ARM和GPU的ASSP解決方案的優(yōu)勢。
流程中第一個信號處理模塊(綠色)是連接器件到攝像頭傳感器的輸入。在Zynq SoC中，開發(fā)人員可讓多種不同I/O信號適應(yīng)于客戶連接的任何攝像頭需要。。下一個信號處理模塊執(zhí)行像素級處理或視頻處理工作(具體取決于應(yīng)用是面向圖形處理還是顯示)。再下一個模塊執(zhí)行圖像分析功能，這是一個計算密集型任務(wù)，通常需要并行計算，而這則是FPGA最擅長的任務(wù)。通過后續(xù)三個模塊(紅色)，處理系統(tǒng)從分析功能中獲得元數(shù)據(jù)結(jié)果，創(chuàng)建結(jié)果的圖形化表達(圖形步驟)，然后對結(jié)果編碼用于發(fā)送。
在Zynq SoC中，處理子系統(tǒng)和FPGA邏輯協(xié)同工作。如果需要壓縮，可以方便地在FPGA邏輯中實現(xiàn)合適的編解碼器。然后在最終的信號處理模塊(標示為“輸出”)中，開發(fā)人員使用Zynq SoC的可編程I/O，可以滿足多種不同通信協(xié)議和視頻傳輸標準的要求，有的是廠商專有標準，有的是特定市場標準，還有的則是業(yè)界標準IP協(xié)議。。與之相比，當開發(fā)人員采用以DSP和GPU為中心的SoC開發(fā)算法時，可能ASSP中的DSP或GPU難以提供所需的性能。為了彌補這種性能不足，開發(fā)人員往往還要在系統(tǒng)中采用獨立的FPGA。
Zynq SoC顯然是開發(fā)Smarter視覺系統(tǒng)的最佳芯片選擇，而賽靈思在該器件開發(fā)的早期階段就認識到，應(yīng)當對編程進行優(yōu)化，特別是對那些比較習(xí)慣用C和C++開發(fā)視覺算法的設(shè)計人員來說更應(yīng)該優(yōu)化編程方法。為此，賽靈思于2012年6月向客戶推出了一款最先進的軟件環(huán)境：Vivado設(shè)計套件，其包含有業(yè)界一流的高層次綜合等多項技術(shù)。賽靈思于2011年1月收購AutoESL獲得了這種高層次綜合技術(shù)。Vivado HLS特別適用于嵌入式視覺應(yīng)用。比方說，如果視覺系統(tǒng)開發(fā)人員用Zynq SoC開發(fā)的C或C++語言算法運行速度不夠快，或者給處理系統(tǒng)帶來過重負擔，那么這些開發(fā)人員就能把C算法提交給Vivado HLS，并將這些算法綜合成Verilog或VHDL，讓其在器件的FPGA邏輯中運行。這就能將Zynq SoC上的處理子系統(tǒng)解放出來，讓它從事更適合自己的任務(wù)，從而加速整體系統(tǒng)性能。
圖2：般性視頻及圖像處理系統(tǒng)流程
OPENCV庫
賽靈思還推出了OpenCV(CV就是計算機視覺的縮寫)庫，進一步完善了Smarter視覺技術(shù)。OpenCV是OpenCV.org發(fā)布的一種業(yè)界標準的開源算法庫，可供嵌入式視覺開發(fā)人員用于迅速創(chuàng)建視覺系統(tǒng)。世界各地的嵌入式視覺開發(fā)人員都積極為該庫貢獻新算法，目前該庫已包含有2,500多種使用C、C++、Java和Python語言編寫完成的算法(見第24頁的OpenCV報道)。庫中的算法復(fù)雜程度各個不同，從圖像濾波器等簡單功能到動作檢測等高級分析功能，無所不有。
Alvarez表示，這些OpenCV算法所針對的幾乎是用任何商用微處理器和DSP實現(xiàn)的方案。由于Zynq SoC使用的是ARM處理系統(tǒng)，因此可在其處理器上實現(xiàn)這些采用C++語言編寫的算法。
Alvarez指出，有了Vivado HLS，用戶可以用C或C++語言編寫這些算法，將函數(shù)調(diào)用從OpenCV改為HLS，然后使用Vivado HLS，將算法綜合成或者編譯成為便于Zynq-7000 SoC的邏輯部分實現(xiàn)而優(yōu)化的RTL代碼。在Vivado環(huán)境中使用OpenCV，便于Smarter視覺架構(gòu)師方便地比較設(shè)計方案中的給定算法到底是在處理器還是Zynq-7000 All Programmable SoC的FPGA邏輯部分運行效率最佳。賽靈思開源庫的推出可為客戶提供一個良好的設(shè)計開端。賽靈思使用Vivado HLS，已經(jīng)編譯了OpenCV庫中30多種最常用的嵌入式視覺算法?？蛻裟軌蛟谙到y(tǒng)級快速權(quán)衡處理器與邏輯，并且立即在Zynq-7000 All Programmable SoC中運行，為給定應(yīng)用提供最理想的系統(tǒng)。
賽靈思及其聯(lián)盟成員將積極不斷地從OpenCV庫移植更多功能，按季提供給賽靈思的用戶群。由于開發(fā)人員可以在幾乎任何商用處理器上運行OpenCV庫，視覺設(shè)計人員將能夠比較運行在各種芯片器件上的算法的性能并為之建立基準。
作為Smarter視覺計劃的一部分，賽靈思還開發(fā)出了SmartCORE IP套件，以滿足各種細分市場的Smarter視覺設(shè)計要求，為新一代產(chǎn)品帶來Smarter視覺功能。借助賽靈思最新推出的IP Integrator工具，客戶能夠?qū)martCORE IP套件提供的內(nèi)核和OpenCV庫提供的算法迅速實現(xiàn)在設(shè)計中。這種新工具是一種新型即插即用IP環(huán)境，方便客戶在原理圖環(huán)境中工作，或者如果需要的話也支持在命令行環(huán)境中工作。
目標平臺意識
Alvarez指出，自Vivado設(shè)計套件誕生后，賽靈思讓該套件的設(shè)計具有器件意識，這樣就能充分發(fā)揮每款器件的功能。Alvarez稱，有了IP Integrator，Vivado設(shè)計套件不僅具有器件意識，現(xiàn)在還具有目標平臺意識，支持所有Zynq SoC和7系列FPGA開發(fā)板以及套件。具有目標平臺意識，就意味著Vivado設(shè)計套件現(xiàn)在能配置和應(yīng)用特定開發(fā)板的設(shè)計規(guī)則檢查，從而確?？焖偻瞥銮袑嵖尚械南到y(tǒng)。
舉例來說，當設(shè)計人員選擇賽靈思Zynq-7000 SoC視頻及成像套件，并在IP Integrator中實例化Zynq SoC處理系統(tǒng)時，Vivado設(shè)計套件則會用恰當?shù)耐庠O(shè)、驅(qū)動程序和存儲器映射對處理系統(tǒng)進行預(yù)配置，從而為開發(fā)板提供支持。嵌入式設(shè)計團隊現(xiàn)在能針對雙核ARM處理系統(tǒng)和高性能FPGA邏輯更迅速地識別、重用并集成IP軟/硬核。
用戶可使用一系列對話框設(shè)定處理系統(tǒng)及其邏輯之間的接口。IP Integrator隨后自動生成RTL，并針對性能或面積進行優(yōu)化。接下來用戶可添加自己的定制邏輯，或使用Vivado IP目錄完成設(shè)計。
到目前賽靈思客戶使用賽靈思FPGA已經(jīng)開發(fā)出怎樣的Smarter視覺系統(tǒng)，是非常值得一看的。Zynq-7000 All Programmable SoC和強大的Smarter視覺環(huán)境的問世，為開發(fā)更令人叫絕的新產(chǎn)品提供了保障。
下載文檔
