當前位置:首頁 > 工業(yè)控制 > 工業(yè)控制
[導讀]本文介紹了基于硬件協(xié)議棧的以太網(wǎng)和DSP的嵌入式視覺傳感器。給出了系統(tǒng)的硬件設計和圖像采集傳輸?shù)能浖鞒?,并以圓尺寸檢測為例介紹系統(tǒng)的實現(xiàn)效果。

   引言

  隨著計算機科學和自動控制技術的發(fā)展,視覺系統(tǒng)被廣泛用于工業(yè)檢測、生物醫(yī)學、軍事偵察等領域。嵌入式視覺系統(tǒng),是將圖像的采集、處理與通信功能集成于單一相機內(nèi),從而提供了具有多功能、模塊化、高可靠性、易于實現(xiàn)的機器視覺解決方案。同時,視覺傳感器需要通過網(wǎng)絡化設計完成控制信息、圖像數(shù)據(jù)的通信任務,網(wǎng)絡通信裝置是視覺傳感器的重要組成部分。筆者采用DSP和CPLD作為核心芯片來控制圖像采集處理和傳輸,采集的圖像經(jīng)DSP的處理后,可經(jīng)以太網(wǎng)傳輸至微機進一步處理,或與其他視覺系統(tǒng)、自動化檢測裝置通信,組成分布式監(jiān)測網(wǎng)絡。本系統(tǒng)的設計優(yōu)點為:

  ·使用CMOS為圖像傳感器直接采集數(shù)字圖像,采用高速DSP和CPLD作為核心芯片來控制圖像采集和處理,簡化了電路的復雜度,提高了系統(tǒng)的集成度,降低了成本。 ?在DSP內(nèi)對采集到的圖像實現(xiàn)快速圖像的預處理,提高了系統(tǒng)的智能化。

  ·通過以太網(wǎng)將圖像數(shù)據(jù)傳輸?shù)铰?lián)網(wǎng)計算機,利于圖像的傳輸、保存和與其他視覺傳感器通信交換數(shù)據(jù),組成視覺網(wǎng)絡。并可與PLC、機器人和其他自動化裝置通信。

  系統(tǒng)設計

  圖1為系統(tǒng)框圖,系統(tǒng)通過DSP給CPLD發(fā)出一個采集命令,由CPLD控制CMOS圖像傳感器向FIFO寫入圖像數(shù)據(jù),同時DSP通過DMA將圖像轉(zhuǎn)移至SDRAM中并進行圖像處理,在處理結束后,將處理的結果通過以太網(wǎng)傳給微機或其他設備,對其I/O接口經(jīng)擴展后,可與PLC等執(zhí)行裝置相連,被外部執(zhí)行器觸發(fā),完成圖像的采集處理,達到控制檢測目的。

圖1 系統(tǒng)框圖

  圖像采集過程

  圖像采集過程主要通過DSP給CPLD(ALTERA的MAX II系列 EPM240)發(fā)送命令字,包括單幀采集、連續(xù)采集等控制命令。每次采集的圖像時都先復位FIFO,防止上一次采集過程出錯有數(shù)據(jù)滯留而導致本次采集的圖像出錯。CPLD采集程序的仿真波形如圖2所示,可以看出當采集單幀數(shù)據(jù)時,CPLD通過控制連續(xù)兩個VSYNC(幀同步信號)間的FIFO( CYPRESS的CYCY7C4291V)的/WE(寫使能信號)低有效來達到圖像采集的目的。OV7640每幀圖像的時間為33ms(30f/s),工作在黑白模式下,每幅圖像數(shù)據(jù)有300K(640×480),即9.3MByte/s,而DSP讀取的速度可以到66.7Mbyte/s,若采用16Bit總線寬度的FIFO,則可達到133Mbyte/s。本系統(tǒng)中由CPLD對圖像的行進行計數(shù),為保證圖像數(shù)據(jù)不溢出FIFO(FIFO為128K字節(jié)),選取每80行圖像數(shù)據(jù)觸發(fā)一次DMA傳輸(DMA選擇為外觸發(fā)模式),每幅圖像分成6次傳輸(共480行數(shù)據(jù))。

圖2 CPLD采集程序的仿真波形

  以太網(wǎng)的圖像傳輸

  本系統(tǒng)的以太網(wǎng)設計,采用Wiznet公司全功能硬件協(xié)議棧芯片W5100。W5100內(nèi)有16K的發(fā)送/接收緩存,支持TCP、UDP、ICMP、IPV4 ARP、IGMP等協(xié)議,本系統(tǒng)中采用TCP/IP協(xié)議,接收上位機的命令并執(zhí)行相應的圖像采集和處理任務。Wiznet公司提供了完整的Socket API函數(shù),其工作方式類似于Windows的Socket API,程序在TI公司的CCS集成開發(fā)環(huán)境下,非常方便用C語言編寫。圖3是利用VC編寫的基于異步Socket的系統(tǒng)軟件。在不同的命令代碼下上傳圖像。如果所示輸入命令1,可以上傳單幅不加任何圖像處理的灰度圖。

圖3 帶有命令選項的圖像接受軟件

  軟件流程

  系統(tǒng)的軟件流程如圖4所示。系統(tǒng)初始化后配置網(wǎng)絡設置,建立命令Socket,Socket連接成功后處在TCP連接狀態(tài)中。當接收到命令時,通過中斷觸發(fā)使DSP從W5100讀取命令字,根據(jù)命令字做出相應的操作,添加圖像預處理程序。然后關閉命令Socket,啟動數(shù)據(jù)Socket進行數(shù)據(jù)傳輸,發(fā)送處理后的圖像數(shù)據(jù)以便上位機進行更高級的圖像處理,最終得到用戶想要的結果和數(shù)據(jù)。

圖4 軟件流程圖

  圖像采集和處理程序示例

  本系統(tǒng)可以應用于視覺系統(tǒng)的多個領域,通過開發(fā)標準的軟件處理模塊,如幾何邊緣提取、Blob、灰度直方圖、OCV/OCR、簡單的定位和搜索等,由用戶根據(jù)實際的測量需求選擇相應的處理模塊,由上位機編譯成相應的固件并下載到系統(tǒng)中,從而實現(xiàn)特定功能的視覺檢測。目前系統(tǒng)開發(fā),只能完成特定的幾種功能,以下以圓盤的直徑檢測為例,介紹系統(tǒng)的處理效果。

  算法的基本思想是:先對采集的圖像進行濾波,再用邊緣檢測算法檢測出圓的邊緣,最后再利用圓檢測算法算出圓的外徑和孔徑。

  檢測基本過程如下:

  標定

  在能夠進行檢測之前,系統(tǒng)必須要標定。標定決定圖像與物理世界之間的映射關系。因此,把圖像中的每個點與一定的物理世界坐標以及反過來建立一一映射。使用一個無畸變的理想二維標定平面來進行標定。首先,可以使用一個標準的網(wǎng)格變換把物理坐標變換到目標平面;然后使用非線性映射把這些中間坐標變換到圖像平面。用于變換運算的參數(shù)可以通過對一個包含已知位置信息的已知特征標定物成像來獲取。非線性變換是通過在確定的測量點之間進行線性插補來實現(xiàn)。

  圖像預處理

  圖5為采集到的原始圖象。由于CMOS傳感器本身的噪聲或系統(tǒng)的擾動等其它原因,原始圖像中會含有噪聲,所以要先對原始圖像做低通濾波處理,可采用3×3模板的低通濾波器,或選擇一些其它的更為復雜的濾波器,如自適應濾波器。

圖5 原始采集圖片

  邊緣檢測

  采用牛頓插值法對圖像實現(xiàn)高精度的邊緣檢測,具體計算步驟如下:

  ·搜索像邊緣過渡區(qū)計算向量

  根據(jù)像邊緣的位置沿著灰度值對應的行或列從亮區(qū)向暗區(qū)搜索,若相鄰的兩個點的灰度值下降幅度大于閾值(閾值應由實驗確定),即認為該點為像邊緣過渡區(qū)的起始節(jié)點,過渡區(qū)包含有3~4個節(jié)點,把其定義為一維數(shù)組,以像邊緣過渡區(qū)起始節(jié)點為首項,沿灰度值矩陣的行或列順序存放由亮到暗像邊緣的灰度值。

  ·使用牛頓插值函數(shù)實現(xiàn)像邊緣光強函數(shù)軟件解調(diào)設向量u[m]={u1,u2,......un},m=0,1,.......n。

  在基點m=0處向前5階差分為:

  D1u0=u1-u0

  D2u0=u2-u1+u0

  D3u0=u3-3u2+u1-u0 (1)

  D4u0=u4-4u3+6u2-4u1+u0

  D5u0=u5-5u4+10u3-10u2+5u1-u0

  設t為[0.5]內(nèi)的連續(xù)變量,則五階牛頓向前插值函數(shù)為:

  v(t)=u0+tD1u0+(t-1)D2u0/2+t(t-1)(t-2)D3u0/6+t(t-1)(t-2)(t-3)D4u0/24+t(t-1)(t-2)(t-3)(t-4)D5u0/120 (2)

  ·確定像邊緣特征點的坐標

  式(2)給出了表征象邊緣位置的連續(xù)函數(shù),對其求二階導數(shù),即,

  d2u/dt2=D2u0+(t-1)D3u0+(12t2-36t+22)D4u0/24+(20t3-120t2+210t-100)D5u0/120 (3)

  其零交叉點(d2u/dt2=0)即為特征點。圖6為邊緣檢測的效果圖。

圖6 邊緣檢測效果圖

  直徑的計算

  通過圓檢測算法,計算出圓的外徑和內(nèi)徑。限于篇幅,具體算法在此不作詳細介紹。

  在實驗中,使用的f=35mm的鏡頭,采用LED環(huán)形光源從底部同軸照明,圖像分辨率為640×480,相面尺寸為3.6mm×2.7mm。系統(tǒng)標定在XY方向上每像素為0.0375mm。對標稱外徑為15mm,內(nèi)徑為9mm的元件做了10次檢測,檢測直徑的平均外徑值為401.6像素即15.06mm,內(nèi)徑為241.3像素即9.049mm。

  實驗結果

  圖7為我們設計的視覺傳感器樣機的系統(tǒng)實物圖。其由三部分組成,分別為主板、電源板和CMOS電路板。采用抓包程序Ethereal對數(shù)據(jù)傳輸速度進行了測試。我們分別對發(fā)送數(shù)據(jù)量為100kbyte,200kbyte和300kbyte進行了測試,實驗結果如表1所示,對于本系統(tǒng)可以達到10f/s的圖像傳輸速度。

圖7 系統(tǒng)實物圖

表1 傳輸數(shù)據(jù)速度實驗結果

  結語

  本文介紹的的視覺系統(tǒng),在硬件系統(tǒng),采用CMOS圖像傳感器,CPLD時序控制,以及高速DSP和以太網(wǎng)高速數(shù)據(jù)傳輸,構成了一個典型嵌入式視覺系統(tǒng)。通過以太網(wǎng)接口可組成分布式視覺檢測網(wǎng)絡。對于簡單的視覺檢測任務,系統(tǒng)可滿足在線檢測的要求。當然,要想最終脫離微機高速的完成復雜的圖像處理任務,單DSP還不能滿足要求。今后改進是添加FPGA實現(xiàn)FPGA與DSP融合的處理系統(tǒng)以及多DSP并行處理系統(tǒng),實現(xiàn)高速嵌入式視覺系統(tǒng)。

  參考文獻:

  1. TMS320C5000系列DSPs原理與應用(第2版),電子工業(yè)出版社,2003

  2. 趙建、劉濟林、于海濱,基于以太網(wǎng)的立體視覺圖像采集系統(tǒng),電視技術,2005,12

  3. 張飛舟、鄧旭明,嵌入式工業(yè)以太網(wǎng)接口開發(fā)與應用,計算機工程,2003,29(16)

  4. WIZNET Corporation .W5100 Datasheet (version 1.0.1). 2006

  5. Wang Xu-Fa,Zhuang Zhen-Quan,Wang Dong-Sheng. Image Processing Programming in C.Hefei: Publishing House of University of Science & Technology of China.1994

本站聲明: 本文章由作者或相關機構授權發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫毥谦F公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務中斷的風險,如企業(yè)系統(tǒng)復雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務連續(xù)性,提升韌性,成...

關鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關鍵字: 華為 12nm EDA 半導體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權最終是由生態(tài)的繁榮決定的。

關鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務引領增長 以科技創(chuàng)新為引領,提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強核心競爭優(yōu)勢...

關鍵字: 通信 BSP 電信運營商 數(shù)字經(jīng)濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術學會聯(lián)合牽頭組建的NVI技術創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術創(chuàng)新聯(lián)...

關鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關鍵字: BSP 信息技術
關閉
關閉