基于顏色差異的果實(shí)自動識別方法與雙目定位技術(shù)研究.pdf

1、進(jìn)入21世紀(jì)，新的農(nóng)業(yè)生產(chǎn)模式和新技術(shù)的應(yīng)用促進(jìn)了農(nóng)業(yè)機(jī)械的更新和發(fā)展，智能農(nóng)業(yè)機(jī)械的技術(shù)條件逐漸成熟，自走式農(nóng)業(yè)機(jī)械的田間自動導(dǎo)航、機(jī)器視覺檢測與農(nóng)業(yè)機(jī)器人的研究得到重視，國家自然科學(xué)基金和863計(jì)劃都給予很高的支持力度。就果實(shí)收獲自動化而言，機(jī)器人必須能夠感知外部環(huán)境，判斷果實(shí)的成熟度，根據(jù)機(jī)器人和目標(biāo)物之間的距離進(jìn)行行走路徑規(guī)劃，避開障礙物對成熟水果實(shí)施采摘。因此，機(jī)器人的智能化程度是必須解決的首要問題。從目前的技術(shù)水平來看，農(nóng)業(yè)

2、機(jī)器人智能系統(tǒng)的發(fā)展還不夠完善，其智能程度遠(yuǎn)沒有達(dá)到農(nóng)業(yè)生產(chǎn)的需要。研究適合生產(chǎn)實(shí)際的果實(shí)收獲機(jī)器人關(guān)鍵技術(shù)，不僅具有理論意義，而且具有潛在的應(yīng)用前景。
　　 果實(shí)的自動識別與3D定位以及成熟度檢測是研究果實(shí)采摘機(jī)器人三大關(guān)鍵技術(shù)。本論文在充分了解果實(shí)采摘自動化的國內(nèi)外研究成果基礎(chǔ)上，針對果實(shí)采摘機(jī)器人研究中存在的問題，以番茄采摘為主要研究對象，著眼于解決自然環(huán)境下成熟期果實(shí)與背景有色彩差異的果實(shí)目標(biāo)自動識別與雙目定位問題，研究

3、快速而穩(wěn)定的算法。具體研究的主要工作包括：
　　 1.經(jīng)過參考同類研究和調(diào)研，構(gòu)建了開展研究所需的主動雙目視覺系統(tǒng)和標(biāo)定實(shí)驗(yàn)臺，并采集了不同天氣環(huán)境下大量的番茄圖像作為圖像分析的主要數(shù)據(jù)。
　　 2.針對在自然環(huán)境下采集果實(shí)圖像時(shí)受到光照劇烈變化的影響和傳統(tǒng)方法不能直接用于彩色圖像進(jìn)行亮度校正的問題，提出基于L*a*b*顏色模型下亮度自適應(yīng)校正算法來改善RGB彩色果實(shí)圖像，在解決圖像改善效果過亮或過暗問題的同時(shí)，不但保留

4、了圖像處理的自適應(yīng)特點(diǎn)，而且不丟失原圖像的顏色信息，達(dá)到了改善光照對圖像質(zhì)量影響的目的。為提高圖像處理的實(shí)時(shí)性，可通過亮度分量平均值的大小來決定是否需要圖像的亮度自適應(yīng)校正。通過對大量圖像進(jìn)行亮度分析，結(jié)果發(fā)現(xiàn)：弱光照下整幅圖像的亮度分量平均值較低，小于40；而強(qiáng)光照下整幅圖像的亮度分量平均值較高，大于100。正常光照情況下是不需要進(jìn)行亮度調(diào)整的。
　　 3.圖像分割是采摘機(jī)器人視覺中極為重要而且困難的內(nèi)容之一，分割的好壞直接影

5、響著后續(xù)的處理。目前這項(xiàng)研究仍在果實(shí)無葉子或樹枝遮蓋的相互分離的理想情況下進(jìn)行，基本上都是針對特定果實(shí)進(jìn)行研究的，通用性不強(qiáng)，分割效果也因方法而異，不能動態(tài)適應(yīng)因果實(shí)品種變化和光照變化。作者針對自然光照下成熟期果實(shí)與背景有色彩差異的果實(shí)圖像進(jìn)行分割的問題，通過采集的大量圖像數(shù)據(jù)，在顏色特征分析和提取的基礎(chǔ)上，從多個(gè)角度嘗試了不同的方法進(jìn)行果實(shí)圖像分割。通過比較分析，確定了不同生長狀態(tài)下果實(shí)圖像的自動分割方法：利用RGB顏色空間下番茄圖像

6、中目標(biāo)與背景的(R-G)灰度值存在明顯差異的特點(diǎn)，首先使用Otsu法對番茄的RGB彩色圖像的色差灰度圖像(R-G)進(jìn)行動態(tài)閾值分割，然后對番茄的R分量灰度圖像應(yīng)用基于形態(tài)重建的受控標(biāo)記分水嶺算法搜索靠攏或重疊番茄的分界線，最后對前面兩次運(yùn)算的結(jié)果作交集運(yùn)算得到最終分割的二值圖像，將番茄從背景中分割出來。試驗(yàn)表明，該方法不僅能對自然光照條件下不同生長狀態(tài)的多目標(biāo)番茄圖像進(jìn)行有效分割，而且對番茄的成熟度及品種差異也具有很好的魯棒性。這個(gè)內(nèi)容

7、是本研究主要創(chuàng)新點(diǎn)之一。
　　 4.以番茄采摘為例，在二值圖像形態(tài)學(xué)處理的基礎(chǔ)上，對番茄的形狀特征和紋理特征進(jìn)行了提取和選擇，并根據(jù)所選擇的特征量確定了番茄識別與生長狀態(tài)判別流程。通過對754幅圖像的處理，對于選擇性收獲而言，采摘成熟和完熟番茄的正確識別率幾乎為100％，除了番茄淹沒在成片枯葉中而分水嶺算法不能分離的情況和單果被枝葉分為多果的誤判。采摘半熟程度以上番茄的正確識別率約為80％。
　　 5.針對番茄的選擇性收

8、獲，對人工選擇的樣本集進(jìn)行特征數(shù)據(jù)的分析，提出將番茄的紅色調(diào)所占著色面積比與黃綠色調(diào)所占著色面積比的差值作為主要分組特征，并結(jié)合著色區(qū)域整體色調(diào)均值和方差，用神經(jīng)網(wǎng)絡(luò)建立番茄成熟度的檢測模型。從網(wǎng)絡(luò)的抗干擾能力和運(yùn)行效率兩個(gè)角度來看，將面積比差值和色調(diào)均值作為網(wǎng)絡(luò)的兩個(gè)輸入時(shí)，網(wǎng)絡(luò)運(yùn)行是最佳的。在小干擾下，網(wǎng)絡(luò)能保持較低的誤判率。當(dāng)噪聲水平在0.1時(shí)，正確判別率可達(dá)到76.28％。
　　 6.從雙目定位的幾何模型出發(fā)，歸納了雙目

9、定位的基本過程，總結(jié)了立體視覺的攝像機(jī)標(biāo)定問題，進(jìn)行了基于2D圓控制點(diǎn)的攝像機(jī)模型建立和標(biāo)定試驗(yàn)，得到了定焦距雙目系統(tǒng)的內(nèi)外參數(shù)，并對標(biāo)定進(jìn)行了精度評價(jià)。分析了變焦距攝像機(jī)的工作原理，指出了變焦距雙目系統(tǒng)定位3D目標(biāo)存在的問題：變焦距雙目系統(tǒng)能獲得目標(biāo)識別所需要的清晰圖像時(shí)，基于視差的雙目定位幾何計(jì)算所需的攝像機(jī)內(nèi)參數(shù)如何實(shí)時(shí)獲取。
　　 7.針對傳統(tǒng)的基于視差計(jì)算的雙目視覺定位幾何模型不能適應(yīng)變焦距雙目系統(tǒng)的目標(biāo)定位問題，提出

10、了一種基于2個(gè)Ward網(wǎng)絡(luò)聯(lián)合工作的的采摘機(jī)器人雙目視覺系統(tǒng)測量模型。該方法借助兩個(gè)Ward網(wǎng)絡(luò)的聯(lián)合工作建立一種隱含的視覺測量模型來代替幾何數(shù)學(xué)模型，將各種不確定因素包含在神經(jīng)網(wǎng)絡(luò)中，不要求預(yù)先建立成像系統(tǒng)的非線性關(guān)系，也不需要具體求出攝像機(jī)的內(nèi)部參數(shù)，從而避免了基于視差計(jì)算的定位方法中的攝像機(jī)內(nèi)參數(shù)實(shí)時(shí)獲取的困難、略去了圖像校正、誤差修正等中間過程。盡管網(wǎng)絡(luò)適應(yīng)攝像機(jī)內(nèi)參數(shù)變化是以付出擬合精度為代價(jià)的，但是實(shí)驗(yàn)表明，訓(xùn)練好的模型從深

11、度距離223mm到1183mm的有效視場內(nèi)，能較好地適應(yīng)攝像機(jī)內(nèi)參數(shù)變化實(shí)現(xiàn)較高精度的果實(shí)目標(biāo)定位，3個(gè)方向的合成誤差不超過±5mm的定位可靠度達(dá)到88.584％。真實(shí)的番茄3D定位試驗(yàn)結(jié)果表明，其測量精度是可以接受的。另外，根據(jù)透視縮放現(xiàn)象建立目標(biāo)輪廓沿主軸方向的像素長度與深度距離之間的關(guān)系，從而估計(jì)果實(shí)的外形尺寸。這個(gè)內(nèi)容是本研究另一個(gè)主要創(chuàng)新點(diǎn)。
　　 8.基于MATLAB開發(fā)了一個(gè)較為完整的番茄采摘機(jī)器人雙目視覺軟件，但