蘋果采摘機(jī)器人視覺測量與避障控制研究.pdf

1、蘋果采摘機(jī)器人是一種具有感知識別能力，能夠自動(dòng)完成蘋果果實(shí)采摘等作業(yè)任務(wù)的智能機(jī)械收獲系統(tǒng)，其作用在于可以降低采摘?jiǎng)趧?dòng)強(qiáng)度和生產(chǎn)費(fèi)用、提高作業(yè)效率和產(chǎn)品質(zhì)量、保證果實(shí)適時(shí)采摘，因此對其相關(guān)技術(shù)研究具有重大現(xiàn)實(shí)意義。我國對采摘機(jī)器人的研究起步較晚，由于采摘環(huán)境的非結(jié)構(gòu)性和采摘對象的復(fù)雜性，其采摘自動(dòng)化程度仍然很低;且隨著人口老齡化和農(nóng)業(yè)勞動(dòng)力的減少，農(nóng)業(yè)生產(chǎn)成本相應(yīng)提高，市場競爭力減弱，實(shí)現(xiàn)果實(shí)的自動(dòng)化采摘成為一個(gè)急需解決的問題。針對這一

2、問題，本文在國家“863”基金項(xiàng)目“果樹采摘機(jī)器人關(guān)鍵技術(shù)研究（2006AA10Z254）”和國家教育部博士點(diǎn)基金項(xiàng)目“果樹采摘機(jī)械手運(yùn)動(dòng)性能優(yōu)化與靈巧避障控制策略研究(20093227120013)”的資助下，對蘋果采摘機(jī)器人動(dòng)靜態(tài)果實(shí)及采摘過程中枝干障礙的視覺測量和避障控制問題進(jìn)行了研究，主要內(nèi)容如下:
　　 1、根據(jù)開放性設(shè)計(jì)原則，以視覺系統(tǒng)、感知系統(tǒng)、交流伺服系統(tǒng)和控制系統(tǒng)四個(gè)方面構(gòu)建了蘋果采摘機(jī)器人的系統(tǒng)結(jié)構(gòu)，其中視覺

3、和感知系統(tǒng)用來感知識別采摘目標(biāo)及采摘環(huán)境;交流伺服系統(tǒng)和控制系統(tǒng)用來負(fù)責(zé)驅(qū)動(dòng)機(jī)械機(jī)構(gòu)安全順利地采摘果實(shí)。這些都為其后續(xù)視覺測量和避障控制提供硬件支持和研究基礎(chǔ)。
　　 2、介紹了所采用的動(dòng)靜態(tài)圖像的采集方法;對所采集的蘋果圖像進(jìn)行特征分析，以受光線和生長狀態(tài)的不同將其分類;對圖像中的果實(shí)、綠葉、枝干和天空在RGB、XYZ、Lab、HIS、I1I2I3顏色空間下基于不同顏色特征進(jìn)行了統(tǒng)計(jì)，從中可以看出圖像中果實(shí)、綠葉、枝干和天空的

4、顏色差異，從而為后續(xù)基于顏色特征的圖像分割提供依據(jù)和奠定基礎(chǔ)。
　　 3、研究自然環(huán)境下靜態(tài)蘋果果實(shí)的識別方法?；陬伾卣髟诓煌念伾臻g下比較不同的蘋果圖像分割方法，通過綜合比較確定基于I1I2I3顏色空間下以I2為顏色特征的OTSU動(dòng)態(tài)閾值分割方法;對分割后的圖像進(jìn)行圖像完善及噪聲去除;建立蘋果果實(shí)輪廓模型，通過邊緣檢測和改進(jìn)的隨機(jī)Hough變換方法對其進(jìn)行識別，其中以邊緣細(xì)化和邊緣連接解決邊緣檢測中邊緣不夠精細(xì)和邊緣斷裂

5、的情形，而對于重疊和被枝葉嚴(yán)重遮擋的蘋果果實(shí)，在識別前分別對其進(jìn)行分離和遮擋修復(fù);最后進(jìn)行了蘋果果實(shí)的識別試驗(yàn)。試驗(yàn)結(jié)果表明:對于分離無遮擋和重疊蘋果果實(shí)的識別，所述方法識別率為100％，而對于被枝葉遮擋果實(shí)的識別率則高于85％;分離無遮擋蘋果果實(shí)圖像的平均識別時(shí)間為0.44s，重疊蘋果果實(shí)圖像的平均識別時(shí)間為0.72s，被枝葉嚴(yán)重遮擋蘋果果實(shí)圖像的平均識別時(shí)間為0.77s，能夠符合采摘機(jī)器人實(shí)時(shí)采摘的需求。此外，本章還研究了適用于蘋果

6、采摘機(jī)器人目標(biāo)果實(shí)的快速跟蹤識別方法。通過基于距離圖像中心最近原則來確定要采摘的目標(biāo)果實(shí);而后利用所采集圖像之間的信息關(guān)聯(lián)性，在不斷縮小圖像處理區(qū)域的同時(shí)，采用經(jīng)過加速的去均值歸一化積相關(guān)模板匹配算法來跟蹤識別后幀圖像的目標(biāo)果實(shí);最后進(jìn)行了不同灰度、亮度和對比度匹配識別以及新舊方法識別時(shí)間對比試驗(yàn)，驗(yàn)證了新方法的有效性。
　　 4、針對采摘機(jī)器人在快速采摘果實(shí)前，需要判別果實(shí)的狀態(tài)以采用相應(yīng)不同的采摘方法，進(jìn)行了果實(shí)狀態(tài)判別方法

7、的研究。首先圖像分割連續(xù)采集的果實(shí)圖像并從首幀分割圖像中以距離圖像中心最近原則確定采摘目標(biāo)果實(shí);然后引入幀間差法對分割后的兩幀果實(shí)圖像進(jìn)行差分，通過對差分圖像進(jìn)行連通數(shù)判別，對振蕩果實(shí)圖像進(jìn)行質(zhì)心坐標(biāo)匹配判別，最終確定目標(biāo)果實(shí)的狀態(tài);最后試驗(yàn)表明對采摘環(huán)境下所遇到的多數(shù)情況，所提出的算法是可行有效的，判別時(shí)間少于0.2s。動(dòng)態(tài)果實(shí)的識別采用經(jīng)過改進(jìn)具有抗旋轉(zhuǎn)性能的去均值歸一化積相關(guān)模板匹配識別算法，通過試驗(yàn)驗(yàn)證，改進(jìn)算法在[-55°60

8、°]較大范圍內(nèi)旋轉(zhuǎn)無關(guān)，可以準(zhǔn)確識別振蕩果實(shí)，此外加上模板適時(shí)更新，能夠滿足需求。在上述確定采摘果實(shí)為振蕩果實(shí)情況下，為解決由于果實(shí)振蕩影響采摘機(jī)器人采摘效率的問題，提出了一種采摘機(jī)器人在果實(shí)振蕩狀況下的快速采摘方法。首先對連續(xù)采集圖像中振蕩果實(shí)的二維質(zhì)心坐標(biāo)FFT建模，求取果實(shí)的振蕩周期，在測得振蕩果實(shí)的深度距離后，計(jì)算出采摘機(jī)器人直動(dòng)關(guān)節(jié)的行程速度，隨即開始采摘，抓取時(shí)果實(shí)正處于平衡位置;最后通過試驗(yàn)可知，采摘成功率達(dá)到84％，對于

9、果實(shí)靜態(tài)狀況下采摘速度較快的采摘機(jī)器人來說，采摘振蕩果實(shí)，所研究方法明顯優(yōu)于以往采摘方法，能夠顯著提高采摘機(jī)器人果實(shí)采摘的整體速度。
　　 5、為了給蘋果采摘機(jī)器人自動(dòng)導(dǎo)航和采摘避障提供比較完善的環(huán)境信息，對其障礙感知識別進(jìn)行了研究。首先分析了障礙感知識別的工作流程;然后著重研究了蘋果采摘機(jī)器人的障礙識別——在討論比較中確定枝干障礙物最為有效的剝離分割方法，經(jīng)過形態(tài)學(xué)閉運(yùn)算和孔洞填充后，通過骨架化獲得枝干的骨架，并采用基于不同模

10、板的小分支去除方法進(jìn)行了修剪，最終提取出枝干障礙物的主要特征——中軸線;最后分別通過雙目和單目視覺實(shí)現(xiàn)對樹干和樹枝障礙的定位。試驗(yàn)結(jié)果表明:枝干障礙檢出率為95％，識別平均時(shí)間不足0.4s;雙目測距在500～1500mm范圍其誤差在20mm以內(nèi)，單目測距在250～400mm范圍其誤差在15mm以內(nèi)。
　　 6、在以上果實(shí)及障礙物位置信息確定的基礎(chǔ)上，將蘋果采摘機(jī)器人避障控制明確分為目標(biāo)搜索避障和目標(biāo)采摘避障兩個(gè)部分。設(shè)計(jì)了目標(biāo)搜

11、索避障路徑，結(jié)合蘋果采摘機(jī)器人小臂上的碰撞傳感器來有效感知外部障礙信息，安全搜尋目標(biāo)果實(shí)，避免損害設(shè)備。目標(biāo)采摘避障首先建立了蘋果采摘機(jī)器人的運(yùn)動(dòng)學(xué)模型，并對其進(jìn)行了仿真研究;將采摘環(huán)境的可能障礙物等效分類為點(diǎn)、圓和直線形障礙，并對其進(jìn)行相應(yīng)的C空間邊界特征建模及柵格化，使對機(jī)器人的控制直接作用于關(guān)節(jié);最后提出了基于樹形結(jié)構(gòu)的平滑方向優(yōu)先路徑規(guī)劃算法，實(shí)現(xiàn)了蘋果采摘機(jī)器人在C空間的局部避障路徑規(guī)劃。試驗(yàn)表明，該方法能夠順利避開障礙物到達(dá)