當(dāng)前位置:首頁 > 工業(yè)控制 > 工業(yè)控制
[導(dǎo)讀]視覺傳感器能直觀反映物體的外部信息,但單個(gè)攝像頭只能獲得物體的二維圖像,立體視覺雖能提供三維信息,但對(duì)于外形相同,僅深度有差別的物體難以識(shí)別(如有孔物體、階梯狀物等) ,且對(duì)環(huán)境光線有一定的要求. 由于超聲傳

視覺傳感器能直觀反映物體的外部信息,但單個(gè)攝像頭只能獲得物體的二維圖像,立體視覺雖能提供三維信息,但對(duì)于外形相同,僅深度有差別的物體難以識(shí)別(如有孔物體、階梯狀物等) ,且對(duì)環(huán)境光線有一定的要求. 由于超聲傳感器具有對(duì)光線、物體材料等不敏感,結(jié)構(gòu)簡單,能直接獲取待測點(diǎn)至傳感器的距離等特點(diǎn),因此本文采用視覺與超聲測量相結(jié)合的方法,將二維圖像信息與超聲波傳感器獲取的深度信息進(jìn)行融合推斷,對(duì)待裝配工件進(jìn)行自動(dòng)識(shí)別與空間定位,并確定機(jī)械手末端執(zhí)行器的空間位置與姿態(tài),使其能在合適的部位準(zhǔn)確抓取工件.

1 系統(tǒng)原理與結(jié)構(gòu)

  系統(tǒng)由機(jī)械手、CCD 視覺傳感器和超聲波傳感器及相應(yīng)的信號(hào)處理單元等構(gòu)成. CCD 安裝在機(jī)械手末端執(zhí)行器上,構(gòu)成手眼視覺,超聲波傳感器的接收和發(fā)送探頭也固定在機(jī)器人末端執(zhí)行器上,由CCD 獲取待識(shí)別和抓取物體的二維圖像,并引導(dǎo)超聲波傳感器獲取深度信息. 系統(tǒng)結(jié)構(gòu)如圖1 所示.


  圖像處理主要完成對(duì)物體外形的準(zhǔn)確描述,包括以下幾個(gè)步驟:a. 圖像邊緣提取;b. 周線跟蹤;c. 特征點(diǎn)提取; d. 曲線分割及分段匹配;e. 圖形描述與識(shí)別.在提取物體圖像邊緣后, 采用周線跟蹤進(jìn)行邊緣細(xì)化,去除偽邊緣點(diǎn)及噪聲點(diǎn),并對(duì)組成封閉曲線的邊緣點(diǎn)進(jìn)Freeman 編碼,記錄每一條鏈碼方向和曲線上各點(diǎn)的X-Y 坐標(biāo)值,便于進(jìn)一步對(duì)物體的幾何特性進(jìn)行分析. 本研究對(duì)傳統(tǒng)的周線跟蹤算法中邊緣點(diǎn)的搜索方向與順序進(jìn)行了改進(jìn),并在搜索過程中采取了及時(shí)消除冗余點(diǎn)的方法,減小了數(shù)據(jù)量與運(yùn)算時(shí)間,而且具有較好的降噪及平滑效果. 在提取圖像特征點(diǎn)時(shí),將多邊形近似法與計(jì)算曲率的方法相結(jié)合, 可克服多邊形近似法易產(chǎn)生偽特征點(diǎn)和計(jì)算曲率法計(jì)算量過大的缺點(diǎn).CCD 獲取的物體圖像經(jīng)處理后,可提取對(duì)象的某些特征,如物體的形心坐標(biāo)、面積、曲率、邊緣、角點(diǎn)及短軸方向等. 根據(jù)這些特征信息,可得到對(duì)物體形狀的基本描述,在圖像處理的基礎(chǔ)上,由視覺信息引導(dǎo)超聲波傳感器對(duì)待測點(diǎn)的深度進(jìn)行測量,獲取物體的深度(高度) 信息,或沿工件的待測面移動(dòng),超聲波傳感器不斷采集距離信息,掃描得到距離曲線,根據(jù)距離曲線分析出工件的邊緣或外形[1 ] . 計(jì)算機(jī)將視覺信息和深度信息融合推斷后,進(jìn)行圖像匹配、識(shí)別,并控制機(jī)械手以合適的位姿準(zhǔn)確地抓取物體.

  2. 1 工件圖像邊緣的提取

  復(fù)雜工件反映在圖像上常常不止一個(gè)灰度等級(jí),僅利用一個(gè)灰度閾值無法提取有意義的邊緣.

  若采用多閾值的方法,必然會(huì)增加計(jì)算時(shí)間和圖像處理的復(fù)雜程度. 對(duì)于類別方差自動(dòng)門限法,增加門限值不僅會(huì)提高數(shù)據(jù)處理復(fù)雜程度,而且當(dāng)閾值多于2 個(gè)時(shí),算法的可靠性就會(huì)受到影響. 為此采用了直接從灰度圖像提取邊緣的方法.圖像邊緣一般發(fā)生在灰度函數(shù)值不連續(xù)處,可用灰度函數(shù)的一階或二階導(dǎo)數(shù)求得. 經(jīng)典的利用一階導(dǎo)數(shù)提取邊緣的方法有Robert s 算子、So2bel 算子等, 利用二階導(dǎo)數(shù)提取邊緣的方法有Laplacian 算子和Marrs2Hilderth 算子等. 通過對(duì)幾種算法的分析比較,認(rèn)為Sobel 算子不僅實(shí)現(xiàn)容易、運(yùn)算速度快,而且可提供最精確的邊緣方向估計(jì).Sobel 算子由兩個(gè)3 ×3 相差90°的算子構(gòu)成,由這兩個(gè)算子同圖像卷積, 可得到圖像的邊緣及其方向. 對(duì)于數(shù)字圖像{ f ( i , j ) } , Sobel 算子可表示為:

  Gx ( i , j) = f ( i - 1 , j - 1) +2 f ( i - 1 , j) + f ( i - 1 , j + 1) - f ( i + 1 ,j - 1) - 2 f ( i + 1 , j) - f ( i + 1 , j + 1) ;

  Gy ( i , j) = f ( i - 1 , j - 1) +2 f ( i , j - 1) + f ( i + 1 , j - 1) - f ( i - 1 ,j + 1) - 2 f ( i , j + 1) - f ( i + 1 , j + 1) .

  采用G1 = | Gx | + | Gy| 得到梯度幅值后,為減少所抽取的邊緣數(shù)目,可設(shè)置一個(gè)幅度門限,即只考慮對(duì)應(yīng)灰度變化較大的那些邊緣. 再利用邊緣點(diǎn)具有局部幅度最大的特點(diǎn),將邊緣細(xì)化.利用Sobel 算子提取邊緣后, 為了得到工件表面的尺寸信息, 還必須提取圖像的角點(diǎn)[2 ] , 以便計(jì)算工件的邊長等特征信息.

  2. 2  形心坐標(biāo)的確定

  圖像中形心點(diǎn)的計(jì)算通??赏ㄟ^兩種方法得出, 一是通過區(qū)域處理求矩的方法計(jì)算形心坐標(biāo) ;二是通過邊緣鏈碼積分計(jì)算。該算法較為簡單,且對(duì)任意圖形都適用,但需要結(jié)合像素點(diǎn)隸屬區(qū)域劃分算法進(jìn)行.

  2. 3  軸向的確定

  為使機(jī)械手能以正確的姿態(tài)準(zhǔn)確地抓取物體,必須精確確定物體的軸向. 在幾何學(xué)中,物體的長軸定義為通過物體形心點(diǎn)的一條直線, 物體關(guān)于該直線的二階矩為最小值. 設(shè)圖像中物體長軸與圖像平面X 軸正方向夾角為θ, 規(guī)定| θ| ≤π/ 2 ,則物體關(guān)于該軸線的二階矩為

  

  該算法較為簡單,且對(duì)任意圖形都適用,但需要結(jié)合像素點(diǎn)隸屬區(qū)域劃分算法進(jìn)行.

  2. 3  軸向的確定

  為使機(jī)械手能以正確的姿態(tài)準(zhǔn)確地抓取物體,必須精確確定物體的軸向. 在幾何學(xué)中,物體的長軸定義為通過物體形心點(diǎn)的一條直線, 物體關(guān)于該直線的二階矩為最小值. 設(shè)圖像中物體長軸與圖像平面X 軸正方向夾角為θ, 規(guī)定| θ| ≤π/ 2 ,則物體關(guān)于該軸線的二階矩為

  

  很明顯,基于二階慣性矩的軸向確定方法是對(duì)整個(gè)物體區(qū)域進(jìn)行運(yùn)算, 且必須先確定像素點(diǎn)的隸屬區(qū)域,故運(yùn)算量較大. 圖2 (a) 是用該算法確定的工件軸向. 對(duì)于一些簡單形狀的物體,可采用如下簡單軸向估計(jì)算法:


  a. 確定物體的形心坐標(biāo);

  b. 確定物體邊緣輪廓閉合曲線前半段中離物體形心最近的點(diǎn), 用最小二乘法估算該點(diǎn)的切線方向,設(shè)其與圖像平面X 軸正方向夾角為α1 ;

  c. 用同樣方法確定下半段曲線中對(duì)應(yīng)的切線方向α2 ;

  d. 物體軸向可粗略估計(jì)為θ= (α1 +α2) / 2.

  圖2 ( b) 是采用簡化算法得到的工件軸向圖. 該算法僅對(duì)物體邊緣輪廓點(diǎn)進(jìn)行處理,使運(yùn)算時(shí)間大為減少.

3 超聲深度檢測

  由于CCD 攝像頭獲取的圖像不能反映工件的深度信息,因此對(duì)于二維圖形相同,僅高度略有差異的工件,只用視覺信息不能正確識(shí)別,本文采用超聲波測距傳感器則可彌補(bǔ)這一不足. 經(jīng)圖像處理得到工件的邊緣、形心等特征量后,引導(dǎo)機(jī)械手到達(dá)待測點(diǎn),對(duì)工件深度進(jìn)行測量,并融合視覺信號(hào)與超聲信號(hào),可得到較完整的工件信息.安裝在機(jī)器人末端執(zhí)行器上的超聲波傳感器由發(fā)射和接收探頭構(gòu)成,根據(jù)聲波反射的原理,檢測由待測點(diǎn)反射回的聲波信號(hào),經(jīng)處理后得到工件的深度信息. 為了提高檢測精度,在接收單元電路中,采用了可變閾值檢測、峰值檢測、溫度補(bǔ)償和相位補(bǔ)償?shù)燃夹g(shù)[1 ] ,可獲得較高的檢測精度.對(duì)視場中兩個(gè)外形完全相同、高度相差0. 1 mm的柱形工件,采用本文提出的融合圖像和深度信息的方法,可準(zhǔn)確識(shí)別與抓取.

4 實(shí)驗(yàn)結(jié)果及結(jié)論

  在上述方法研究的基礎(chǔ)上, 完成了在MOVEMASTER2EX機(jī)器人裝配作業(yè)平臺(tái)上進(jìn)行的物體識(shí)別與抓取實(shí)驗(yàn). 在自然光及一般照明條件下,對(duì)機(jī)器人裝配作業(yè)平臺(tái)上視場范圍內(nèi)任意放置的3~5 個(gè)不同形狀、大小的典型工件進(jìn)行自動(dòng)識(shí)別和抓取,結(jié)果表明,識(shí)別時(shí)間小于5 s(包括識(shí)別、定位與抓取過程機(jī)械手的移動(dòng)時(shí)間) ,定位誤差小于±2 mm ,并具有較好的通用性和可移植性. 圖3 (a) ~ (d) 分別是待抓取工件識(shí)別過程的圖像.

  實(shí)驗(yàn)結(jié)果表明, 采用本文提出的將機(jī)器人手- 眼視覺與超聲波測距相結(jié)合的檢測裝置, 以及融合二維圖像信息與深度信息進(jìn)行工件識(shí)別與抓取的方法,可準(zhǔn)確對(duì)物體進(jìn)行識(shí)別與定位,具有算法簡單、計(jì)算量小、實(shí)時(shí)性好、可靠性高等特點(diǎn),可為機(jī)器人與環(huán)境交互提供物體形狀、類別及大小等信息,使機(jī)器人裝配作業(yè)能適應(yīng)各種復(fù)雜的環(huán)境與工藝過程,對(duì)實(shí)現(xiàn)工業(yè)生產(chǎn)過程的自動(dòng)化、柔性化、智能化有良好的應(yīng)用前景.


  實(shí)驗(yàn)結(jié)果表明, 采用本文提出的將機(jī)器人手- 眼視覺與超聲波測距相結(jié)合的檢測裝置, 以及融合二維圖像信息與深度信息進(jìn)行工件識(shí)別與抓取的方法,可準(zhǔn)確對(duì)物體進(jìn)行識(shí)別與定位,具有算法簡單、計(jì)算量小、實(shí)時(shí)性好、可靠性高等特點(diǎn),可為機(jī)器人與環(huán)境交互提供物體形狀、類別及大小等信息,使機(jī)器人裝配作業(yè)能適應(yīng)各種復(fù)雜的環(huán)境與工藝過程,對(duì)實(shí)現(xiàn)工業(yè)生產(chǎn)過程的自動(dòng)化、柔性化、智能化有良好的應(yīng)用前景.

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動(dòng) BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對(duì)日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運(yùn)營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺(tái)與中國電影電視技術(shù)學(xué)會(huì)聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會(huì)上宣布正式成立。 活動(dòng)現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會(huì)上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱"軟通動(dòng)力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉