基于人機(jī)交互的強(qiáng)化學(xué)習(xí)理論與應(yīng)用.pdf

1、本文在對(duì)現(xiàn)有智能學(xué)習(xí)算法進(jìn)行詳細(xì)綜述的基礎(chǔ)上,提出了基于人機(jī)交互的強(qiáng)化學(xué)習(xí)算法,即把人機(jī)交互加入到強(qiáng)化學(xué)習(xí)中,從而促進(jìn)和提高復(fù)雜任務(wù)學(xué)習(xí)的有效性和快速性,來(lái)解決不確定環(huán)境下,面向任務(wù)的智能信息處理、分析和優(yōu)化問(wèn)題.具體研究工作包括以下幾個(gè)方面:(1)在對(duì)強(qiáng)化學(xué)習(xí)理論結(jié)構(gòu)進(jìn)行詳細(xì)分析介紹的基礎(chǔ)上,提出一種能夠結(jié)合專(zhuān)家知識(shí)的人機(jī)交互強(qiáng)化學(xué)習(xí)理論結(jié)構(gòu),使系統(tǒng)獲得當(dāng)前狀態(tài)與目標(biāo)狀態(tài)之間的距離度量,利用人對(duì)任務(wù)的理解和對(duì)學(xué)習(xí)過(guò)程的監(jiān)控,給智能系統(tǒng)

2、的學(xué)習(xí)過(guò)程以恰當(dāng)?shù)脑u(píng)價(jià),為搜索指明方向,減少搜索范圍,降低學(xué)習(xí)復(fù)雜度,解決了標(biāo)準(zhǔn)強(qiáng)化學(xué)習(xí)計(jì)算復(fù)雜度依賴(lài)狀態(tài)行為空間大小的缺點(diǎn).(2)本文提出了基于強(qiáng)化學(xué)習(xí)的特征學(xué)習(xí)算法,并與mean shift算法相結(jié)合以實(shí)現(xiàn)給定的跟蹤任務(wù).特征學(xué)習(xí)過(guò)程被描述為與不確定視覺(jué)環(huán)境進(jìn)行交互的序列決策過(guò)程,使系統(tǒng)在考慮視覺(jué)環(huán)境分布的情況下,能夠不斷地在線(xiàn)評(píng)價(jià)和學(xué)習(xí)特征集,在線(xiàn)學(xué)習(xí)自適應(yīng)的高判別力期望特征集,這也是本文優(yōu)于目前大多數(shù)特征選擇方法的地方.同時(shí),為

3、了降低計(jì)算復(fù)雜度、提高特征學(xué)習(xí)過(guò)程的收斂速度,本文在特征學(xué)習(xí)的結(jié)構(gòu)中進(jìn)一步引入人機(jī)交互,這種交互式的特征學(xué)習(xí)結(jié)構(gòu)能夠直接獲得操作者對(duì)特征選擇行為評(píng)價(jià)的反饋信息,使系統(tǒng)獲得當(dāng)前特征集與期望特征集之間的距離度量,有效地結(jié)合操作者的先驗(yàn)知識(shí)和專(zhuān)業(yè)知識(shí),大大簡(jiǎn)化特征學(xué)習(xí)過(guò)程.(3)本文把基于人機(jī)交互的強(qiáng)化學(xué)習(xí)與相關(guān)反饋技術(shù)相結(jié)合,系統(tǒng)通過(guò)與圖像數(shù)據(jù)庫(kù)進(jìn)行交互,在線(xiàn)學(xué)習(xí)選擇面向任務(wù)的期望特征集策略,建立圖像檢索任務(wù)與期望特征集的對(duì)應(yīng)關(guān)系,并構(gòu)成專(zhuān)

4、家知識(shí)庫(kù),以解決強(qiáng)化學(xué)習(xí)性能依賴(lài)初始狀態(tài)的問(wèn)題.(4)應(yīng)用強(qiáng)化學(xué)習(xí)理論構(gòu)造了一種通用的面向任務(wù)的分級(jí)視覺(jué)學(xué)習(xí)體系結(jié)構(gòu),突破以往的人工視覺(jué)研究主要集中在低級(jí)視覺(jué)信息處理上的局限,而在高級(jí)視覺(jué)學(xué)習(xí)模型與低級(jí)視覺(jué)信息處理的互動(dòng)方面做深入研究.此通用體系結(jié)構(gòu)能夠把外部的視覺(jué)感知與內(nèi)部的認(rèn)知過(guò)程和行為決策密切結(jié)合,使系統(tǒng)動(dòng)態(tài)地組織圖像處理過(guò)程及學(xué)習(xí)最優(yōu)控制策略,通過(guò)"知識(shí)"只處理與任務(wù)相關(guān)的數(shù)據(jù),以有效地減少視覺(jué)計(jì)算量.從而構(gòu)成一個(gè)閉環(huán)的學(xué)習(xí)系統(tǒng)