Top K學(xué)習(xí)自動機算法研究.pdf

1、機器學(xué)習(xí)分為三類：監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)。學(xué)習(xí)自動機（Learning Automata，LA）是強化學(xué)習(xí)中重要的一類算法。學(xué)習(xí)自動機通過與環(huán)境的交互，在不需要對環(huán)境有先驗知識的前提下通過自主學(xué)習(xí)從環(huán)境的行為集中找出最優(yōu)行為。學(xué)習(xí)自動機因其實現(xiàn)簡單、理論完備以及抗干擾能力強被廣泛應(yīng)用于模式識別、通信等領(lǐng)域。由于實際應(yīng)用的需求，針對新型的Top K學(xué)習(xí)自動機的研究逐漸開始。Top K學(xué)習(xí)自動機的目標(biāo)是從環(huán)境的行為集中找出最優(yōu)行為子

2、集，更適合一些工業(yè)環(huán)境以及全局優(yōu)化等實際應(yīng)用中。
　　在此背景下，本文對Top K學(xué)習(xí)自動機的算法進(jìn)行研究。目前這方面的研究還在起步階段，現(xiàn)有的算法只是對單個普通學(xué)習(xí)自動機算法進(jìn)行了擴(kuò)展，使其能尋找最優(yōu)行為子集。為了能將現(xiàn)有的大量普通學(xué)習(xí)自動機應(yīng)用到這一新目標(biāo)中，本文通過分析普通學(xué)習(xí)自動機算法和新的Top K學(xué)習(xí)自動機機理，提出兩種將主流普通學(xué)習(xí)自動機擴(kuò)展為Top K學(xué)習(xí)自動機的擴(kuò)展框架——Naive Top K擴(kuò)展框架及Inte

3、gral Top K擴(kuò)展框架并給出了這兩種框架的具體流程，并在此基礎(chǔ)上針對經(jīng)典的DPRI算法給出了擴(kuò)展示例。通過仿真實驗，本文出示了兩種擴(kuò)展框架各自的優(yōu)缺點。
　　其次，本文針對Top K學(xué)習(xí)自動機與普通學(xué)習(xí)自動機目標(biāo)的差異進(jìn)行深入研究，提出了一種新的Top K學(xué)習(xí)自動機算法——LELAK算法。這種算法的更新過程從理論上更吻合Top K學(xué)習(xí)自動機尋找最優(yōu)行為子集的目的。仿真實驗表明，LELAK算法的收斂速度優(yōu)于現(xiàn)有的Top K學(xué)習(xí)