基于不確定知識的強化學習及其應用研究.pdf

1、強化學習是人工智能中策略學習的一種，是一種重要的機器學習方法，用于解決可感知環(huán)境的自主agent，如何學習選擇出實現(xiàn)其目標的最優(yōu)行為策略。由于強化學習通過與環(huán)境的直接交互進行學習，具有試錯評價、延遲回報、目標導向等特點，在許多agent中得到了較好的應用，特別是在移動機器人的智能實現(xiàn)取得了較好的成果。移動機器人是機器人學和智能控制的重要研究領域，是當今智能發(fā)展的重要方面與主要體現(xiàn)，其研究目標是使機器人具有高度自規(guī)劃、自組織、自適應能力，

2、可在復雜的非結構環(huán)境中自主移動并完成相應任務；因此，自主導航技術是其研究的核心，而無碰運動則是機器人應具備的基本能力。利用強化學習方法更好的實現(xiàn)未知環(huán)境下的移動機器人自主導航、避碰技術，對學習算法的應用推廣及移動機器人的工程實現(xiàn)等均具有重要的意義。 但是，隨著強化學習在實際應用的進一步推廣，該方法也面臨著越來越多的困難及挑戰(zhàn)。首先是在實際應用中由agent自身及外界環(huán)境所引起的各種不確定性問題，使得學習算法難于很好的實用推廣；其

3、次是學習算法的收斂效率問題，較慢的收斂速度使得各種算法在理論研究或仿真實驗中取得的成果不適用于實際的學習問題。因此，從實用的角度對強化學習方法及其在移動機器人智能中的實現(xiàn)進行更深入的研究顯得尤為重要。 本文首先分析了強化學習在實際應用中的不足，總結了目前國內外研究的主要不確定性知識表示方法：概率統(tǒng)計、模糊理論、定性推理以及灰色系統(tǒng)理論等，并對各種表示方法的特點等進行了比較研究；進而將強化學習方法與這些不確定性知識表示方法結合起來

4、，詳細闡述了模糊強化學習、定性強化學習以及灰色強化學習等強化學習方法，并分析了各種方法的優(yōu)缺點，為強化學習算法的工程實用奠定了較好的基礎。 針對移動機器人自學習導航收斂效率較低，理論成果難于應用的難題，本文對基于先驗知識的強化學習自主導航方法進行了研究。通過對環(huán)境模型的灰色先驗特性的分析，提出了基于灰色模型信息的強化學習方法(RLBG)：而為更好的運用人類自身的經驗知識，研究了基于定性經驗知識的強化學習方法(RLBQ)；這些方法

5、對各種不確定性先驗知識在強化學習方法及移動機器人自主導航中的更充分有效的運用較有啟發(fā)及借鑒意義。 移動機器人自主運動中經常存在各種不確定性，如外界環(huán)境的未知不確定性及機器人自身感知及執(zhí)行的不確定性等。為實現(xiàn)移動機器人在實際中更好的自主無碰運動，本文在利用強化學習自學習避碰規(guī)則庫的基礎上，結合灰色預測理論的GM(1，1)模型通過對當前及下一距離的預測而對貧信息的有效開發(fā)的方法，對基于灰色預測的移動機器人自主避碰進行了研究，并通過仿