基于LAP方法的機(jī)器人靈巧手控制.pdf

1、本文討論將計算機(jī)視覺用于人手姿態(tài)的檢測，在基于任務(wù)建模的方式下，進(jìn)行多指機(jī)械靈巧手的操作控制的研究工作。 機(jī)械手，包括靈巧手，是機(jī)器人進(jìn)行操作的最重要的工具，對應(yīng)的控制是機(jī)器人適應(yīng)性地完成各種作業(yè)任務(wù)的關(guān)鍵。具有多手指、多關(guān)節(jié)和多自由度的多指靈巧機(jī)械手可以提高機(jī)器人的操作能力，實(shí)現(xiàn)復(fù)雜的靈巧操作。 傳統(tǒng)上的機(jī)械手通常采用離線編程或示教的方法進(jìn)行控制，機(jī)械手完成的是事先規(guī)定好的工作，這種工作模式降低了機(jī)械手對非結(jié)構(gòu)環(huán)境的適

2、應(yīng)性。采用視覺傳感器的機(jī)器人系統(tǒng)，用攝像機(jī)攝入被抓取的物體的影像，通過圖像處理分析，獲得物體的方位、形狀參數(shù)，可以讓機(jī)器人能自動識別需要抓取的對象，確定機(jī)械手的夾持器的方位和抓取方法。 但是，基于目前技術(shù)發(fā)展的水平，不可能完全靠傳感器對機(jī)械手的直接控制來完成復(fù)雜的任務(wù)，即使在所謂結(jié)構(gòu)環(huán)境中，機(jī)械手仍需要依賴多種形式的“學(xué)習(xí)”，“積累”處理可能出現(xiàn)的各種情形的知識。另一方面，在非結(jié)構(gòu)化環(huán)境中，靠機(jī)器人完全適應(yīng)性地完成各種作業(yè)任務(wù)是

3、不現(xiàn)實(shí)的，往往需要人機(jī)配合，由人進(jìn)行必要的監(jiān)控和決策。并用人機(jī)交互手段干預(yù)機(jī)械手的動作。鼠標(biāo)與鍵盤是傳統(tǒng)上最常用的人機(jī)接口。 新型的人機(jī)接口裝置——數(shù)據(jù)手套的出現(xiàn)，大大增加了機(jī)械手，特別是多指、多關(guān)節(jié)的機(jī)械靈巧手的適應(yīng)性，但是數(shù)據(jù)手套多數(shù)是采用命令姿態(tài)作為控制方式的，操作者在使用數(shù)據(jù)手套以前需要進(jìn)行訓(xùn)練，手套需要標(biāo)定。命令姿態(tài)數(shù)量也是有限的。而且，數(shù)據(jù)手套是接觸性傳感器，容易損壞、不夠舒適、價格比較高。另外，與計算機(jī)相連的數(shù)據(jù)手

4、套在一定程度上限制了操作者的活動。手套開始工作后，就連續(xù)檢測人手的動作，影響了操作者與其他人或設(shè)備的交互。 在過去的幾年中，計算機(jī)視覺拓展了一個所謂“看人”(lookingatpeople，以下簡稱LAP)的應(yīng)用領(lǐng)域，用計算機(jī)視覺作為人機(jī)接口，通過觀察(監(jiān)視)、分析人體不同部分的表情或姿態(tài)，從中提取有用的控制信息。由于是非接觸性檢測，因此對于操作者而言感覺比較自由而且自然，同時還能為機(jī)器提供豐富的信息資源，具有廣闊的應(yīng)用范圍。在

5、Lookingatpeople應(yīng)用中，手勢姿態(tài)分析主要研究內(nèi)容是分析用手勢表達(dá)的符號語言(如手語字符)的意義。 本文進(jìn)行的研究將Lookingatpeople的方法應(yīng)用于分析人的手勢姿態(tài)，進(jìn)而完成多手指、多關(guān)節(jié)機(jī)械靈巧手的操作控制。這是一個交叉研究領(lǐng)域，涉及到計算機(jī)立體視覺、圖像處理和機(jī)器人學(xué)等學(xué)科。 系統(tǒng)的特點(diǎn)是采用根據(jù)任務(wù)建模的方式而不是預(yù)先規(guī)定的命令姿態(tài)進(jìn)行控制。由操作者觀察被操作對象的表面形態(tài)、方位，作出動作決策

6、(抓取物體的手勢姿態(tài))，攝像機(jī)從不同角度“觀察”人的手勢，經(jīng)過圖像分析，信息合成，得到三維空間中手的姿態(tài)信息，然后利用人手和機(jī)械手結(jié)構(gòu)上的異、同點(diǎn)，將人手的姿態(tài)轉(zhuǎn)變成機(jī)械手可執(zhí)行的動作姿態(tài)。 研究主要完成了下列工作：(1)根據(jù)人手的生理結(jié)構(gòu)特點(diǎn)，設(shè)計了適合于具有小幅度運(yùn)動的非剛性構(gòu)架上特征點(diǎn)的搜索、排序方法，可以迅速、準(zhǔn)確地將攝像機(jī)拍攝的處于任意空間方位姿態(tài)下的手的姿態(tài)圖像上的各關(guān)節(jié)點(diǎn)(含手腕和指尖)，按手指的歸屬重新排序，這些

7、點(diǎn)在圖像采集、處理過程中，是按從上到下或從下到上的掃描順序排列的。按預(yù)定順序連接這些點(diǎn)，可以用線條方式重構(gòu)出在二維或三維空間中的手勢姿態(tài)。 (2)圖像對中對應(yīng)特征點(diǎn)的正確匹配，是立體視覺中恢復(fù)點(diǎn)的三維信息的最重要的步驟之一。本文根據(jù)拍攝圖像的特殊性，設(shè)計了一種簡潔、有效的點(diǎn)的匹配方法，利用上述重新排序算法，對不同攝像機(jī)拍攝的各圖像采用相同的規(guī)則排列特征點(diǎn)的順序，這樣在解決了特征點(diǎn)的位置歸屬問題同時，也解決了圖像對上對應(yīng)點(diǎn)的匹配問

8、題。 (3)在計算機(jī)視覺的最新理論研究成果——Lumigraph理論基礎(chǔ)上，研究設(shè)計了簡易有效的點(diǎn)的三維坐標(biāo)計算方法。攝像機(jī)不用事先進(jìn)行標(biāo)定，也不用計算攝像機(jī)的投影矩陣，點(diǎn)的三維坐標(biāo)計算與攝像機(jī)的內(nèi)外參數(shù)及攝像機(jī)系統(tǒng)中各攝像機(jī)之間的相互位置無關(guān)，因此特別適用于多目視覺系統(tǒng)。系統(tǒng)中攝像機(jī)的數(shù)量可以很方便地進(jìn)行增減，根據(jù)具體情況進(jìn)行系統(tǒng)中攝像機(jī)的匹配。 (4)人手和被控制的機(jī)械靈巧手是形似的，但是其各關(guān)節(jié)自由度的數(shù)量、關(guān)節(jié)數(shù)

9、卻有所差異，而且人手的大小也因人而異，不能直接進(jìn)行關(guān)節(jié)姿態(tài)映射。在對比分析了人手生理結(jié)構(gòu)和機(jī)械靈巧手的機(jī)械結(jié)構(gòu)的基礎(chǔ)上，總結(jié)了人手和機(jī)械靈巧手在抓取物體時的共同點(diǎn)和不同點(diǎn)，設(shè)計了指尖位置映射的控制方式，將人手進(jìn)行抓取時的指尖空間位置，映射為機(jī)械靈巧手坐標(biāo)系中的空間位置，通過機(jī)械手的逆運(yùn)動學(xué)方程，求出滿足運(yùn)動約束條件的解。整個系統(tǒng)以人手在三維空間中的動作圖像作為輸入，以機(jī)械手的模仿動作數(shù)據(jù)作為輸出。實(shí)現(xiàn)了用LookingatPeople的

10、方法，將人手姿態(tài)轉(zhuǎn)換為機(jī)械靈巧手動作姿態(tài)的動作控制過程。 研究采用的方法計算量小，算法簡單易行，可以滿足機(jī)械靈巧手的實(shí)時控制要求。系統(tǒng)中所用的手套僅作為放置標(biāo)記點(diǎn)的載體，因而不需要進(jìn)行手套的標(biāo)定；手套不與計算機(jī)相連，使人的手的動作比較自由，在攝像機(jī)監(jiān)視范圍以外，手可以自由動作，不影響機(jī)械靈巧手的控制。系統(tǒng)中的攝像機(jī)不需要進(jìn)行復(fù)雜的標(biāo)定；操作人員的手的大小和抓取姿態(tài)對算法執(zhí)行和姿態(tài)分析沒有影響，對抓取姿態(tài)沒有特殊的規(guī)定。系統(tǒng)采用的