動(dòng)態(tài)不確定性環(huán)境下的實(shí)時(shí)規(guī)劃系統(tǒng)研究.pdf

1、作為一種非常重要而且常見(jiàn)的智能行為和能力，規(guī)劃(Planning)就成為人工智能研究的一個(gè)重要領(lǐng)域，很早就受到關(guān)注的主要問(wèn)題之一。而在動(dòng)態(tài)不確定性環(huán)境下的規(guī)劃就因其更加貼近現(xiàn)實(shí)環(huán)境，具有更高的實(shí)用價(jià)值而成為目前規(guī)劃問(wèn)題研究的重點(diǎn)和熱點(diǎn)。 本文首先分析動(dòng)態(tài)不確定性環(huán)境的主要特點(diǎn)，包括： ■動(dòng)態(tài)性：環(huán)境的狀態(tài)無(wú)時(shí)無(wú)刻不在變化。它不僅僅受智能體自身的影響而變化，還受環(huán)境中其他智能體和其他因素的影響而變化。 ■智能體知識(shí)

2、的局限性：一般來(lái)說(shuō)，智能體不可能掌握環(huán)境中所有的知識(shí)，不可能了解可以引起環(huán)境變化的所有因素，不可能了解其他智能體的所有情況。智能體只可能部分的掌握這些知識(shí)，甚至對(duì)一些方面一無(wú)所知。 ■智能體行動(dòng)的不確定性：智能體在環(huán)境中執(zhí)行一定的行為，其結(jié)果是不確定的，事先無(wú)法對(duì)這個(gè)結(jié)果作準(zhǔn)確的預(yù)測(cè)。 ■智能體觀察的局部性：一般來(lái)說(shuō)，智能體對(duì)環(huán)境的觀察是不全面的。在同一時(shí)刻，智能體只能觀察到環(huán)境中一部分的情況。 ■智能體觀察的不

3、確定性：智能體從環(huán)境中得到的觀察一般來(lái)說(shuō)是不準(zhǔn)確的，有時(shí)甚至是錯(cuò)誤的。 然后，對(duì)現(xiàn)有的規(guī)劃系統(tǒng)在適應(yīng)上述動(dòng)態(tài)不確定性環(huán)境的能力進(jìn)行了概述。分析了這些系統(tǒng)在適應(yīng)動(dòng)態(tài)不確定性環(huán)境方面各自的優(yōu)點(diǎn)和不足。 本文的主要工作是基于以上的分析和認(rèn)識(shí)，提出了基于PRS和決策論規(guī)劃的面向動(dòng)態(tài)不確定性環(huán)境的規(guī)劃系統(tǒng)POMDPRS。并討論了兩種提高決策效率的改進(jìn)方法。具體工作主要有： 1)提出了面向動(dòng)態(tài)不確定性環(huán)境的規(guī)劃系統(tǒng)POMDP

4、RS。描述了其基本模型，并給出了形式化描述。POMDPRS通過(guò)保持PRS系統(tǒng)的持續(xù)規(guī)劃?rùn)C(jī)制來(lái)適應(yīng)環(huán)境的動(dòng)態(tài)性，通過(guò)使用環(huán)境狀態(tài)空間上的概率分布作為智能體的信念來(lái)適應(yīng)環(huán)境的不確定性，從而兼顧了兩個(gè)大方面的要求。 2)闡述了狀態(tài)因子化表示在POMDPRS中的應(yīng)用，并給出了因子化的POMDPRS——FPOMDPRS的形式化描述。POMDPRS使用環(huán)境狀態(tài)空間上的概率分布作為智能體的信念，并根據(jù)智能體輸出的行為和接收到的觀察來(lái)對(duì)其進(jìn)行更

5、新。但是在很多情況下，狀態(tài)空間往往十分巨大，從而使得信念更新的時(shí)間消耗非常高，難以適應(yīng)系統(tǒng)反應(yīng)實(shí)時(shí)性的需要。因子化方法通過(guò)將狀態(tài)表示中涉及到的環(huán)境屬性根據(jù)其互相依賴關(guān)系來(lái)對(duì)它們進(jìn)行劃分。將一個(gè)狀態(tài)表示為幾個(gè)子狀態(tài)的集合，從而將未因子化時(shí)的一個(gè)大狀態(tài)空間變成幾個(gè)較小的狀態(tài)空間。從而信念也就變成幾個(gè)子狀態(tài)空間上的概率分布的集合。在信念更新的時(shí)候，對(duì)這幾個(gè)子狀態(tài)空間上的概率分布分別處理，從而達(dá)到削減信念分布時(shí)間消耗的作用。 3)闡述了

6、Monte Carlo濾波表示在POMDPRS中的應(yīng)用，并給出了應(yīng)用MonteCarlo濾波的POMDPRS——MCPOMDPRS的形式化描述。削減信念更新的時(shí)間消耗的另一個(gè)方法是Monte Carlo濾波。它通過(guò)使用概率分布上有限的一些具體數(shù)值(樣本)來(lái)代表整個(gè)分布，并根據(jù)行動(dòng)和觀察，使用SIR方法來(lái)對(duì)這個(gè)樣本集進(jìn)行更新。這使得信念更新的時(shí)間消耗依賴于樣本集的大小。從而可以通過(guò)控制樣本集的大小來(lái)控制信念更新的時(shí)間消耗。 因子化