當(dāng)前位置:首頁 > 工業(yè)控制 > 《機(jī)電信息》
[導(dǎo)讀]摘要:針對(duì)多種類、形狀各異、散亂放置、高度不一致的異構(gòu)件在弱紋理、反光等復(fù)雜場景中難以實(shí)現(xiàn)精確抓取的問題,開發(fā)設(shè)計(jì)了一套雙目結(jié)構(gòu)光定位抓取系統(tǒng)。在相機(jī)標(biāo)定獲取相機(jī)參數(shù)后,通過雙目結(jié)構(gòu)光實(shí)現(xiàn)異構(gòu)件的三維重建,再創(chuàng)建點(diǎn)云模板與三維點(diǎn)云進(jìn)行配準(zhǔn),獲取抓取位姿,最后控制機(jī)器人完成抓取。實(shí)驗(yàn)結(jié)果表明,左右相機(jī)標(biāo)定的誤差為0.05pixel和0.04pixel,手眼標(biāo)定的旋轉(zhuǎn)均方根誤差為0.146°,實(shí)現(xiàn)了異構(gòu)件的抓取,驗(yàn)證了整體方案的可行性。

引言

近年來,視覺引導(dǎo)工業(yè)機(jī)器人作業(yè)成為學(xué)者研究的熱點(diǎn),尤其是在機(jī)器人抓取、安裝等方面應(yīng)用廣泛,其原理是經(jīng)視覺技術(shù)進(jìn)行三維重建后,實(shí)現(xiàn)對(duì)物體的位姿識(shí)別和定位。精確的位姿識(shí)別能有效提高機(jī)器人抓取準(zhǔn)確性,而目前的三維測量精度和速度仍處于探索研究的過程中。一般位姿主要包括旋轉(zhuǎn)和平移兩種狀態(tài),目前常用的位姿計(jì)算方法主要有深度學(xué)習(xí)和點(diǎn)云配準(zhǔn)等。其中,深度學(xué)習(xí)依賴大量樣本且訓(xùn)練耗時(shí)太長,難以推廣應(yīng)用。點(diǎn)云配準(zhǔn)是基于模板點(diǎn)云與目標(biāo)點(diǎn)云之間的相似特征點(diǎn),求出旋轉(zhuǎn)平移矩陣,將兩個(gè)點(diǎn)云轉(zhuǎn)換到同一個(gè)坐標(biāo)系下,得到匹配參數(shù)后利用手眼標(biāo)定參數(shù)計(jì)算出機(jī)械手抓取位姿,能夠大幅縮短運(yùn)行時(shí)間,提高配準(zhǔn)精度。本系統(tǒng)采用雙目加投影儀的視覺檢測方法,通過處理獲取三維點(diǎn)云數(shù)據(jù),得到物體位姿信息,最后引導(dǎo)機(jī)械手對(duì)目標(biāo)物體進(jìn)行抓取,提高匹配與抓取精度。

1定位抓取系統(tǒng)方案設(shè)計(jì)

搭建的定位抓取系統(tǒng)主要由兩個(gè)相機(jī)、一個(gè)DLP4500投影儀、龍門架、機(jī)器人及通信設(shè)備等組成。在實(shí)驗(yàn)平臺(tái)中,為更好地捕獲圖像,通常把投影儀放置在兩個(gè)相機(jī)之間,并調(diào)整好兩個(gè)相機(jī)的角度,滿足兩個(gè)相機(jī)視野的公共視場,使得圖像采集盡可能一致,整體實(shí)驗(yàn)搭建情況如圖1所示。

1一機(jī)器人:2一吸盤:3一投影儀:4一相機(jī):5一傳送帶:6一異構(gòu)件。

圖1實(shí)驗(yàn)系統(tǒng)

整個(gè)定位抓取方案包含了雙目結(jié)構(gòu)光三維重建與點(diǎn)云處理的整體流程,主要步驟如下:

(1)相機(jī)標(biāo)定:首先左右相機(jī)同時(shí)采集10~15張標(biāo)定板圖片,完成相機(jī)標(biāo)定,得到雙目相機(jī)的內(nèi)外參數(shù)以及像素誤差。

(2)三維重建:左右相機(jī)分別采集帶有正弦光柵的12張圖片,基于三頻四步外差法以及相位校正對(duì)相位展開獲得左右相位圖,對(duì)相位圖進(jìn)行極線校正后完成相位匹配,得到待測物的視差圖。根據(jù)視差圖計(jì)算每個(gè)點(diǎn)的深度信息,獲得Z坐標(biāo),再計(jì)算出每個(gè)點(diǎn)的X、Y坐標(biāo),以點(diǎn)云的形式表達(dá)出來并保存,完成三維重建。

(3)點(diǎn)云處理與位姿估計(jì):對(duì)三維重建的點(diǎn)云進(jìn)行濾波處理、關(guān)鍵點(diǎn)提取,利用FPFH特征直方圖求取點(diǎn)與鄰域點(diǎn)之間的法線相互關(guān)系,完成點(diǎn)云配準(zhǔn)后得到齊次矩陣,矩陣包含旋轉(zhuǎn)矩陣和平移矩陣。

(4)抓取:完成手眼標(biāo)定得到工件坐標(biāo)系與相機(jī)坐標(biāo)系的轉(zhuǎn)換矩陣,結(jié)合位姿估計(jì)得到的物體與相機(jī)的關(guān)系矩陣,得出機(jī)器人與待抓取結(jié)構(gòu)件的位姿關(guān)系,控制機(jī)器人移動(dòng)到計(jì)算得到的位置完成抓取。

整體流程如圖2所示。

2系統(tǒng)標(biāo)定

2.1相機(jī)標(biāo)定

相機(jī)標(biāo)定的目的是獲得相機(jī)的內(nèi)外參數(shù)和畸變參數(shù),求出世界坐標(biāo)系與像素坐標(biāo)系之間的關(guān)系,常用的標(biāo)定方法是張正友標(biāo)定法[4]。雙目標(biāo)定與單目標(biāo)定的不同之處在于雙目標(biāo)定除了需要單目標(biāo)定的參數(shù)外,還有兩個(gè)相機(jī)之間的相對(duì)位置關(guān)系。一般都是以左相機(jī)為坐標(biāo)參考系,得出右相機(jī)相對(duì)于左相機(jī)的旋轉(zhuǎn)、平移關(guān)系。

左右相機(jī)的位置關(guān)系如下:

聯(lián)合式(1)(2)可得:

求得相機(jī)的外參數(shù)為:

雙目標(biāo)定流程圖如圖3所示,由于相機(jī)是朝下放置,光源在上方,所以對(duì)于標(biāo)定板的反光具有一定的要求,選擇了反光較弱的陶瓷材質(zhì)標(biāo)定板。將標(biāo)定板放置在實(shí)驗(yàn)平臺(tái)上,通過平面旋轉(zhuǎn)、移動(dòng)和傾斜與平臺(tái)呈現(xiàn)一定角度的標(biāo)定板,在雙目相機(jī)的視野范圍內(nèi),拍攝15~20張圖片。

使用MATLAB的標(biāo)定工具箱,角點(diǎn)識(shí)別標(biāo)定板完成單目標(biāo)定與雙目標(biāo)定。得到的雙目標(biāo)定各參數(shù)結(jié)果如表1、表2所示。

2.2手眼標(biāo)定

采用Tsai-Lenz算法,將標(biāo)定板固定在機(jī)械手末端,放置于相機(jī)視野范圍內(nèi),移動(dòng)機(jī)械手末端使標(biāo)定板呈現(xiàn)不同的位姿并完成圖像采集,手眼標(biāo)定系統(tǒng)示意圖如圖4所示。

圖4手眼標(biāo)定系統(tǒng)示意圖

分別定義7CR、7PC、7MR、7PM為機(jī)械臂基座坐標(biāo)系R與相機(jī)坐標(biāo)系C、相機(jī)坐標(biāo)系C與標(biāo)定板坐標(biāo)系P、機(jī)械臂基座坐標(biāo)系R與機(jī)械臂末端執(zhí)行器坐標(biāo)系M、機(jī)械臂末端執(zhí)行器坐標(biāo)系M與標(biāo)定板坐標(biāo)系P之間的轉(zhuǎn)換關(guān)系。

建立4個(gè)坐標(biāo)系之間的運(yùn)動(dòng)方程:

7PC可以通過相機(jī)標(biāo)定得到,移動(dòng)帶有標(biāo)定板的機(jī)械臂,使標(biāo)定板在相機(jī)視野范圍內(nèi),根據(jù)相機(jī)內(nèi)參系數(shù)計(jì)算出外部參數(shù),最后得到在相機(jī)坐標(biāo)系下的標(biāo)定板位姿信息。7MR通過獲取機(jī)械臂各關(guān)節(jié)的參數(shù)和求解運(yùn)動(dòng)方程可得。所以,手眼標(biāo)定主要求解7CR和7PM的參數(shù)。

機(jī)械臂基座坐標(biāo)系R與相機(jī)坐標(biāo)系C的關(guān)系是保持不變的,標(biāo)定板固定在機(jī)械臂末端,所以機(jī)械臂末端執(zhí)行器坐標(biāo)系M與標(biāo)定板坐標(biāo)系P也保持不變,因此求解的7CR和7PM實(shí)際上是不變的矩陣。

由式(6)可知,標(biāo)定板移動(dòng)為任何姿態(tài)7PM都是固定值。

拍攝n次不同位姿的標(biāo)定板圖像,可得如下方程組:

整理方程組,用X代替7CR,可得:

式(8)用于求解AX=XB,AX主要與R和M有關(guān),XB主要與C和P有關(guān)。最后將問題轉(zhuǎn)換成求解旋轉(zhuǎn)、平移矩陣,即完成手眼標(biāo)定。得到的標(biāo)定誤差如表3所示。

3三維重建

異構(gòu)件的三維重建整體流程如圖5所示,首先對(duì)左右相機(jī)采集不同姿態(tài)的標(biāo)定板圖片,完成相機(jī)標(biāo)定。

其次將正弦光柵投影到異構(gòu)件表面,并利用左右相機(jī)獲取圖像,如圖6所示。

根據(jù)捕捉到的圖像分別進(jìn)行包裹相位的計(jì)算,完成相位校正和極線校正,通過相位匹配計(jì)算得到異構(gòu)件的視差圖,最后結(jié)合雙目系統(tǒng)求解得到異構(gòu)件的三維點(diǎn)云,完成三維重建,如圖7所示。

4位姿估計(jì)與定位抓取

為能高效率地實(shí)現(xiàn)位姿估計(jì),完成定位,將流程分成兩個(gè)部分,模板點(diǎn)云采用離線操作,場景點(diǎn)云的位姿矩陣計(jì)算則利用在線部分的三維重建與模板點(diǎn)云進(jìn)行配準(zhǔn)。位姿估計(jì)流程圖如圖8所示。

實(shí)驗(yàn)方法步驟:

(1)建立離線模板點(diǎn)云庫,重建不同的異構(gòu)件點(diǎn)云,將重建效果好的點(diǎn)云經(jīng)過處理后導(dǎo)入模板庫。

(2)重建場景點(diǎn)云后完成點(diǎn)云預(yù)處理,并對(duì)其進(jìn)行歐式距離的聚類分割,根據(jù)抓取的優(yōu)先順序?qū)雽?duì)應(yīng)的模板,使用SAC-IA+ICP完成配準(zhǔn),配準(zhǔn)誤差最小的即為匹配成功對(duì)。

(3)獲取位姿估計(jì)信息,即機(jī)器人的抓取位姿。在得到點(diǎn)云配準(zhǔn)的旋轉(zhuǎn)、平移矩陣后與手眼標(biāo)定矩陣結(jié)合,計(jì)算得到待抓取物體與工件坐標(biāo)系的位姿關(guān)系,將該關(guān)系的位姿矩陣寫入Rapid語言,機(jī)器人根據(jù)獲取到的位姿信息移動(dòng)到指定位置,將待抓取物吸附后移動(dòng)到指定放置地點(diǎn)。

4個(gè)異構(gòu)件在相機(jī)視野范圍內(nèi)隨意分散擺放,經(jīng)過三維重建、點(diǎn)云預(yù)處理、點(diǎn)云分割及點(diǎn)云配準(zhǔn)后,得到圖9所示點(diǎn)云分割結(jié)果圖和圖10所示點(diǎn)云配準(zhǔn)示意圖。

根據(jù)配準(zhǔn)結(jié)果獲取抓取位姿后,控制機(jī)器人完成抓取。多種類異構(gòu)件的抓取示意圖如圖11所示。

5結(jié)語

本文以異構(gòu)件為研究對(duì)象對(duì)整個(gè)測量系統(tǒng)的關(guān)鍵技術(shù)進(jìn)行研究,搭建雙目結(jié)構(gòu)光系統(tǒng),利用該系統(tǒng)獲得帶有場景的點(diǎn)云數(shù)據(jù),通過點(diǎn)云處理得到的位姿估計(jì)結(jié)果引導(dǎo)機(jī)械臂完成抓取,驗(yàn)證了整體方案設(shè)計(jì)的可行性。

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動(dòng) BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對(duì)日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運(yùn)營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺(tái)與中國電影電視技術(shù)學(xué)會(huì)聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會(huì)上宣布正式成立。 活動(dòng)現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會(huì)上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱"軟通動(dòng)力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉