基于機器視覺的水果分級分揀系統(tǒng)關(guān)鍵技術(shù)研究

引言

當前對蘋果品質(zhì)的檢測工作主要依靠人工完成,但是人工檢測會存在誤判、效率低和成本高等問題,且對于后期的水果分揀工作也存在效率和準確率低的問題。機器視覺就是用圖像攝取裝置等來代替人眼做一些分析和判斷,自動得到一些問題的結(jié)果,近年來其以速度快、信息量大、功能多等特點在水果分級分揀領(lǐng)域得到了廣泛應(yīng)用。本研究從水果的分級分揀環(huán)節(jié)入手,利用圖像分割和深度學習算法,達到了準確高效分揀水果的目的。

1水果分級分揀系統(tǒng)硬件搭建

水果分級分揀系統(tǒng)樣機如圖1所示,其主要由硬件系統(tǒng)和軟件系統(tǒng)構(gòu)成。

(1）硬件系統(tǒng)包括圖像采集模塊、機械手模塊。圖像采集模塊用于圖像的獲取,作為圖像分析的數(shù)據(jù)源:機械手模塊用于對水果進行抓取。

(2）軟件系統(tǒng)主要實現(xiàn)蘋果的智能識別和自動抓取功能,包括蘋果定位模塊、蘋果分類識別模塊和機械手抓取模塊。其中抓取系統(tǒng)的x軸、y軸運動利用標準滑臺實現(xiàn),Z軸運動利用滾珠絲杠花鍵實現(xiàn),同時還可以實現(xiàn)旋轉(zhuǎn)和旋轉(zhuǎn)移動:利用pLC對電機進行閉環(huán)控制,實現(xiàn)抓取裝置準確定位:利用氣缸驅(qū)動夾具實現(xiàn)抓取功能。

2水果分級分揀系統(tǒng)關(guān)鍵技術(shù)研究

基于機器視覺的蘋果分揀系統(tǒng)要解決兩個關(guān)鍵問題,一是如何通過圖像來確定蘋果的空間位置,二是如何通過圖像來確定蘋果的分類和分級。因此,本項目以蘋果為研究對象,從圖像分割算法、相機標定、特征學習和水果分揀等關(guān)鍵技術(shù)著手開展研究。

2.1卷積神經(jīng)網(wǎng)絡(luò)的分類能力

基于成像分析的傳統(tǒng)視覺方法需要對被識別的目標建立數(shù)學模型,而蘋果的色澤、表面缺陷、花尊、果梗等特征很難用數(shù)學模型進行準確描述,而卷積神經(jīng)網(wǎng)絡(luò)不需要建立特征模型,只需利用一個帶標簽的圖像集作為訓練集,對卷積神經(jīng)網(wǎng)絡(luò)開展訓練,模型會自動學習樣本中不同等級蘋果的特征,這樣利用訓練好的卷積神經(jīng)網(wǎng)絡(luò),可以很容易對不同特征的蘋果進行分類。本研究采用深度學習算法,針對采樣訓練需要海量數(shù)據(jù)的缺點,選取同一蘋果不同的側(cè)面,使得模型可以更好地學習目標屬性特征,克服不同角度下分類不準確的問題,從而有效提升模型的整體性能、泛化能力和學習能力?；诰矸e神經(jīng)網(wǎng)絡(luò)的

2.2Mask-RCNN圖像語義分割的準確性

圖像分割是機械手精確測量和識別定位的關(guān)鍵環(huán)節(jié),傳統(tǒng)的圖像分割方法對圖像紋理、明暗、背景和復雜度等因素非常敏感,很難確保圖像分割質(zhì)量。Mask-RCNN網(wǎng)絡(luò)可以自動提取目標特征信息,將圖像上每一個像素進行分類,即每一個像素均具有屬性類別,因此屬于蘋果像素就被歸類為蘋果,可避免圖像噪聲、復雜背景的影響。本研究為保證視覺測量的精確性和識別的準確性,采用Mask-RCNN網(wǎng)絡(luò)的圖像分割方法,并在Caffe深度學習框架下,將最新的Mask-RCNN算法與ResNet特征提取網(wǎng)絡(luò)相結(jié)合進行圖像分割訓練。

Mask-RCNN分割算法結(jié)構(gòu)和流程圖如圖3所示。對目標圖像,首先輸入到卷積神經(jīng)網(wǎng)絡(luò)ResNet中進行特征提取得到feafuremap,并對這個feafuremap通過目標估計網(wǎng)絡(luò)RPN提取可能存在的目標區(qū)域ROI。然后ROI經(jīng)過ROIAlign層被映射成固定維數(shù)的特征向量,其中兩個分支通過全連接層進行分類和包圍框的回歸,另一分支經(jīng)過全卷積進行采樣得到分割圖。輸出包含3個分支:目標分類、目標包圍框坐標和目標二值掩碼。其中分類和回歸部分均由基于區(qū)域的目標檢測網(wǎng)絡(luò)Faster-RCNN完成,目標的像素級分割由全卷積神經(jīng)網(wǎng)絡(luò)FCN完成。

圖3Mask-RCNN網(wǎng)絡(luò)結(jié)構(gòu)圖

2.3攝像機標定

攝像機的安裝位置、鏡頭畸變、光心坐標等參數(shù)會影響測量精度,因此,利用攝像機對蘋果的尺寸和空間位姿進行準確測量,必須對攝像機進行標定,確定攝像機的內(nèi)外參數(shù)。本研究采用opencv棋盤格法進行標定,利用相機標定將已知參數(shù)的棋盤格作為標定板,在進行圖像采集時,通過調(diào)整棋盤格的位置,得到多個不同角度的棋盤格圖像,取圖像的角點,找出其與棋盤格的對應(yīng)關(guān)系,從而估算出相機內(nèi)外參數(shù),然后采用最小二乘法估算實際存在徑向畸變下的畸變系數(shù),并利用極大似然法對參數(shù)進行優(yōu)化,進而提升估計精度。

2.4機械手目標抓取

機械手的自主抓取主要基于視覺定位和視覺伺服。首先通過動力學與運動學分析,采用智能算法規(guī)劃軌跡,完成機械臂智能抓取、運動軌跡規(guī)劃和運動軌跡控制,通過研究運動過程中誤差的來源,建立誤差智能補償方案:其次是針對運動過程誤差實時補償?shù)男枰?采用圖像信息的視覺伺服控制系統(tǒng),將蘋果位姿產(chǎn)生的誤差、軌跡跟蹤產(chǎn)生的誤差轉(zhuǎn)變?yōu)閳D像信息,發(fā)送給控制系統(tǒng),控制系統(tǒng)實時對誤差進行補償,實現(xiàn)每次抓取位置誤差最小。

3應(yīng)用前景

當前我國已成為世界上最大的蘋果生產(chǎn)國和消費國,市場占有率在50%以上,但國內(nèi)對水果品質(zhì)的檢測方法大部分還是采用傳統(tǒng)的人工方式,造成蘋果分級存在控制不嚴、品質(zhì)不高、良莠不齊和效率較低等問題,與世界知名農(nóng)產(chǎn)品相比,無法形成品牌優(yōu)勢。例如,國外對蘋果大小分級要求85mm果中不能有80mm、75mm果,80mm果中不能有75mm果:同一規(guī)格的,裝箱果徑相差不能超過3mm。顯然,按照上述分級標準要求,簡單的分級方法和分級設(shè)備是無法達到的,必須通過精確的測量才能實現(xiàn)嚴格的分級。本研究從水果的分級分揀環(huán)節(jié)入手,相對于人工而言,通過引入機器視覺分級分揀系統(tǒng)達到準確高效分揀水果的目的,在重復性較高的工作中,提高該系統(tǒng)對工作環(huán)境的適應(yīng)能力以及生產(chǎn)效率和系統(tǒng)柔性,對于提高水果生產(chǎn)效率及普及水果等級標準的執(zhí)行具有推動意義。

4結(jié)語

采用基于卷積神經(jīng)網(wǎng)絡(luò)CNN模型的圖像識別,機器能直接以圖像的像素作為輸入,自己學習得出最合適的圖像特征,不需要大量的先驗知識,從而避免了因人為設(shè)計特征不合適而造成的圖像識別效果變差等問題。本項目將深度學習引入水果分揀系統(tǒng),搭建卷積神經(jīng)網(wǎng)絡(luò)模型CNN和Mask-RCNN網(wǎng)絡(luò)模型,同時對傳統(tǒng)的深度學習算法的訓練數(shù)據(jù)和特征提取進行改進,進而在農(nóng)產(chǎn)品的檢測精度和效率上實現(xiàn)了進一步提升。