時(shí)序差分學(xué)習(xí)在非完備信息機(jī)器博弈中的應(yīng)用.pdf

1、完備信息博弈已經(jīng)有很多應(yīng)用比較成功的解決方案。當(dāng)電腦走棋的時(shí)候，根據(jù)當(dāng)前棋局創(chuàng)建一個(gè)部分的博弈樹，利用估值函數(shù)對葉結(jié)點(diǎn)進(jìn)行估值，通過估值的結(jié)果來進(jìn)行極大極小值搜索，找到一個(gè)在根結(jié)點(diǎn)的最佳走步。這是很多的人工智能程序的核心架構(gòu)。然而，迄今為止非完備信息下的非常成功的人工智能博弈程序很少。非完備信息博弈問題的解決技術(shù)和完備信息有很大的差異，應(yīng)用于完備信息的技術(shù)不一定能夠成功的應(yīng)用到非完備信息博弈中。
　　在非完備信息博弈中，博弈雙方僅

2、擁有當(dāng)前游戲狀態(tài)的部分知識(shí)。在信息不明了的情況下，隨機(jī)策略成為一個(gè)可行的選擇。例如，對于橋牌游戲來講，在評估玩家的出牌時(shí)，蒙特卡羅技術(shù)對各張看不到的牌進(jìn)行抽樣，隨機(jī)的確定這些牌的種類，然后對獲得的完備信息牌局進(jìn)行極大極小值搜索，就好像每個(gè)玩家都知道所有的牌是什么一樣。上述過程多次進(jìn)行，選擇平均來說最好的出牌。
　　時(shí)序差分學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域強(qiáng)化學(xué)習(xí)技術(shù)的一種。傳統(tǒng)的學(xué)習(xí)技術(shù)通過預(yù)測值和真實(shí)結(jié)果之間的差值來調(diào)整描述狀態(tài)的各種參數(shù)，而

3、時(shí)序差分學(xué)習(xí)根據(jù)連續(xù)的預(yù)測之間的差值來調(diào)整。對現(xiàn)實(shí)生活中的大多數(shù)預(yù)測問題來說，時(shí)序差分相對于傳統(tǒng)方法而言需要更少的內(nèi)存，更低的計(jì)算時(shí)間復(fù)雜度。時(shí)序差分側(cè)重于對運(yùn)算效率的提升，結(jié)果和傳統(tǒng)學(xué)習(xí)方法比較接近。
　　本文探討了時(shí)序差分學(xué)習(xí)在非完備信息機(jī)器博弈估值函數(shù)中的應(yīng)用，并基于該算法結(jié)合蒙特卡羅抽樣技術(shù)實(shí)現(xiàn)了一個(gè)具有自學(xué)習(xí)能力的四國軍棋博弈系統(tǒng)。本文的主要研究成果和創(chuàng)新之處在于：
　　1.進(jìn)一步擴(kuò)充和精確化了四國軍旗博弈中的蒙特