Top K學(xué)習(xí)自動(dòng)機(jī)算法研究.pdf

1、機(jī)器學(xué)習(xí)分為三類(lèi)：監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。學(xué)習(xí)自動(dòng)機(jī)（Learning Automata，LA）是強(qiáng)化學(xué)習(xí)中重要的一類(lèi)算法。學(xué)習(xí)自動(dòng)機(jī)通過(guò)與環(huán)境的交互，在不需要對(duì)環(huán)境有先驗(yàn)知識(shí)的前提下通過(guò)自主學(xué)習(xí)從環(huán)境的行為集中找出最優(yōu)行為。學(xué)習(xí)自動(dòng)機(jī)因其實(shí)現(xiàn)簡(jiǎn)單、理論完備以及抗干擾能力強(qiáng)被廣泛應(yīng)用于模式識(shí)別、通信等領(lǐng)域。由于實(shí)際應(yīng)用的需求，針對(duì)新型的Top K學(xué)習(xí)自動(dòng)機(jī)的研究逐漸開(kāi)始。Top K學(xué)習(xí)自動(dòng)機(jī)的目標(biāo)是從環(huán)境的行為集中找出最優(yōu)行為子

2、集，更適合一些工業(yè)環(huán)境以及全局優(yōu)化等實(shí)際應(yīng)用中。
　　在此背景下，本文對(duì)Top K學(xué)習(xí)自動(dòng)機(jī)的算法進(jìn)行研究。目前這方面的研究還在起步階段，現(xiàn)有的算法只是對(duì)單個(gè)普通學(xué)習(xí)自動(dòng)機(jī)算法進(jìn)行了擴(kuò)展，使其能尋找最優(yōu)行為子集。為了能將現(xiàn)有的大量普通學(xué)習(xí)自動(dòng)機(jī)應(yīng)用到這一新目標(biāo)中，本文通過(guò)分析普通學(xué)習(xí)自動(dòng)機(jī)算法和新的Top K學(xué)習(xí)自動(dòng)機(jī)機(jī)理，提出兩種將主流普通學(xué)習(xí)自動(dòng)機(jī)擴(kuò)展為T(mén)op K學(xué)習(xí)自動(dòng)機(jī)的擴(kuò)展框架——Naive Top K擴(kuò)展框架及Inte

3、gral Top K擴(kuò)展框架并給出了這兩種框架的具體流程，并在此基礎(chǔ)上針對(duì)經(jīng)典的DPRI算法給出了擴(kuò)展示例。通過(guò)仿真實(shí)驗(yàn)，本文出示了兩種擴(kuò)展框架各自的優(yōu)缺點(diǎn)。
　　其次，本文針對(duì)Top K學(xué)習(xí)自動(dòng)機(jī)與普通學(xué)習(xí)自動(dòng)機(jī)目標(biāo)的差異進(jìn)行深入研究，提出了一種新的Top K學(xué)習(xí)自動(dòng)機(jī)算法——LELAK算法。這種算法的更新過(guò)程從理論上更吻合Top K學(xué)習(xí)自動(dòng)機(jī)尋找最優(yōu)行為子集的目的。仿真實(shí)驗(yàn)表明，LELAK算法的收斂速度優(yōu)于現(xiàn)有的Top K學(xué)習(xí)