基于強(qiáng)化學(xué)習(xí)的人型機(jī)器人擺臂自平衡方法研究.pdf

1、當(dāng)下，研究者們對(duì)機(jī)器人的平衡控制研究主要集中在下肢，然而對(duì)于機(jī)器人的手部動(dòng)作則較少關(guān)注。顯然，機(jī)器人的手臂擺動(dòng)過(guò)程中所產(chǎn)生的慣量會(huì)對(duì)機(jī)器人的平衡有相當(dāng)?shù)挠绊?，而假若采用傳統(tǒng)的數(shù)學(xué)分析建模的方法，首先需要大量的運(yùn)動(dòng)物理學(xué)知識(shí)，其次建立的模型未必準(zhǔn)確而且不具有普適性。而用強(qiáng)化學(xué)習(xí)的方式讓機(jī)器人自動(dòng)學(xué)會(huì)平衡控制則既是機(jī)器人平衡算法的發(fā)展趨勢(shì)又對(duì)硬件有良好的適應(yīng)性。因此本文嘗試用機(jī)器學(xué)習(xí)的方式學(xué)習(xí)生成機(jī)器人手臂控制算法以實(shí)現(xiàn)用機(jī)器人手臂擺動(dòng)所產(chǎn)

2、生的慣量對(duì)機(jī)器人的平衡進(jìn)行調(diào)節(jié)的任務(wù)。
　　為了簡(jiǎn)化問(wèn)題，本文不考慮機(jī)器人其他關(guān)節(jié)，只考慮機(jī)器人肩部關(guān)節(jié)，即讓機(jī)器人在發(fā)生前后方向上的傾斜時(shí)，讓機(jī)器人通過(guò)擺動(dòng)手臂來(lái)實(shí)現(xiàn)平衡調(diào)節(jié)。
　　首先，用Q-learning學(xué)習(xí)算法學(xué)習(xí)生成了一個(gè)單極倒立擺的控制算法，這有助于對(duì)強(qiáng)化學(xué)習(xí)算法原理的理解和掌握，對(duì)于該模型所采用的是查表式的設(shè)計(jì)方法對(duì)倒立擺的狀態(tài)進(jìn)行劃分，并用Simulink進(jìn)行仿真。
　　其次，用 sarsa學(xué)習(xí)算法學(xué)

3、習(xí)生成了另一個(gè)單極倒立擺的控制算法，并用Simulink進(jìn)行仿真，并將其與Q-learning學(xué)習(xí)算法進(jìn)行比較，得出Q-learning學(xué)習(xí)算法更易收斂的結(jié)論。
　　再次，以Q-learning學(xué)習(xí)算法進(jìn)行機(jī)器學(xué)習(xí)，在simrobot仿真環(huán)境下學(xué)習(xí)生成了控制機(jī)器人在直立情況下通過(guò)手臂前后擺動(dòng)以保持平衡的控制算法，此問(wèn)題和前面的倒立擺模型相似，不同的是它是通過(guò)擺動(dòng)手臂來(lái)達(dá)到平衡調(diào)節(jié)的，并且具有更加復(fù)雜的狀態(tài)空間和動(dòng)作集，雖然本文已經(jīng)