動態(tài)不確定環(huán)境下的智能體序貫決策方法及應用研究.pdf

1、中圖分類號嬰!墨!UDC0048博士學位論文學校代碼lQ三三密級公玨動態(tài)不確定環(huán)境下的智能體序貫決策方法及應用研究Agentsequentialdecisionmakingapproachanditsapplicationunderuncertainenviroment作者姓名：學科專業(yè)：研究方向：學院(系、所)：指導教師：副指導教師：仵博計算機科學與技術(shù)計算機應用技術(shù)信息科學與工程學院吳敏教授陳鑫副教授論文答辯日期業(yè)i三：篁：]答辯委

2、員會主席牲中南大學2013年5月動態(tài)不確定環(huán)境下的智能體序貫決策方法及應用研究摘要：近年來，動態(tài)不確定環(huán)境下的智能體在線規(guī)劃和學習引起了科學界的極大關(guān)注，己就智能體在決策時必須考慮各種不確定性作為設計健壯系統(tǒng)的必備條件而達成共識。部分可觀察馬爾可夫決策過程(PartiallyObservableMarkovDecisionProcesses，簡稱POMDPs)為智能體在動態(tài)不確定環(huán)境下的序貫決策提供了一個理想的模型，該模型可以對傳感器噪

3、音、丟失信息和部分觀察信息等不確定性信息提供魯棒性建模，進而最優(yōu)化序貫策略。然而，基于POMDPs的智能體在線規(guī)劃與學習常陷入信念狀態(tài)空間“維數(shù)災“和“歷史災”問題，造成現(xiàn)有算法僅適用于小規(guī)模問題，難于應用到大規(guī)模實際工程中。本文針對上述問題，重點研究信念狀態(tài)空間壓縮方法、在線規(guī)劃和在線學習方法，并將本文方法應用到無線傳感器網(wǎng)絡能量高效領域。主要研究成果和創(chuàng)新點如下：(1)提出一種基于非負矩陣分解更新規(guī)則的可分解POⅧPs信念狀態(tài)空間降

4、維算法針對求解可分解POMDPs規(guī)劃問題時遭遇的“維數(shù)災’’問題，提出一種基于非負矩陣分解更新規(guī)則的可分解POMDPs信念狀態(tài)空間降維算法。首先，根據(jù)POMDPs的結(jié)構(gòu)特性，對狀態(tài)、觀察和動作進行可分解表示，利用動態(tài)貝葉斯網(wǎng)絡的獨立關(guān)系對信念狀態(tài)空間進行壓縮，從而降低信念狀態(tài)空間的稀疏性。然后，采用信念狀態(tài)空間值直接降維方法進行降維，利用非負矩陣分解更新規(guī)則來更新信念狀態(tài)空間，從而不但避免Krylov迭代，加快降維速度，而且保留了值函數(shù)