基于虛擬遺憾最小化算法的德州撲克機器博弈研究.pdf

1、德州撲克是風靡全球的撲克游戲，是非完備信息機器博弈的典型代表。游戲中的隨機發(fā)牌導致了信息的不確定性，博弈者無法得到對手的手牌信息致使信息具有不完備性，四輪的押注決策使游戲具有重復性等。德州撲克的非確定性非完備性等特點決定了其博弈樹具有指數(shù)級的游戲狀態(tài)，如簡單的兩人限注德州撲克玩法，游戲的整個博弈樹包括3.19×1017個游戲狀態(tài)。對于德州撲克這類博弈狀態(tài)呈指數(shù)級增長的游戲，虛擬遺憾最小化算法(Counterfactual Regret

2、Minimization,CFR)是目前最先進的能夠生成高效策略的技術(shù)之一。CFR算法通過多次迭代計算博弈樹中每個信息集的動作遺憾值和平均策略值，預測下一時刻的決策動作，使其是當前最小遺憾動作。如何存儲大量迭代計算產(chǎn)生的遺憾值、平均策略值和計算效率是CFR算法面臨的兩大挑戰(zhàn)。本課題針對以上問題展開研究，對CFR算法進行了改進，實現(xiàn)了具有較高智能水平的德州撲克機器博弈系統(tǒng)。
　　本課題實現(xiàn)的德州撲克智能體使用基于9-Bucketin

3、g策略的底牌抽取技術(shù)對德州撲克游戲進行抽象，降低了德州撲克狀態(tài)空間復雜度?；诿商乜_CFR算法的抽樣思想和Pure CFR算法的整數(shù)運算思想，本課題提出了兩種改進的CFR算法，根據(jù)離線訓練和在線博弈時處理對手策略的不同方式，課題將改進的算法稱為離線學習對手策略的CFR算法和在線自適應對手策略的CFR算法。這兩種改進算法與原始的CFR算法相比，提高了計算效率和博弈的勝率，降低了存儲要求。本課題根據(jù)改進的CFR算法產(chǎn)生的最優(yōu)化策略選取未來

4、的決策行為時，結(jié)合使用欺詐策略，避免了被對手建模。2014年，本課題使用CFR算法實現(xiàn)的3-Kuhn撲克機器博弈智能體在國際人工智能協(xié)會(AAAI)舉辦的世界年度計算機撲克機器博弈大賽(ACPC)的3-Kuhn撲克項目中獲得了銅獎，隨后根據(jù)本課題改進的兩種CFR算法實現(xiàn)的德州撲克機器博弈智能體在與往年ACPC大賽決賽階段的部分參賽智能體的機器博弈對比實驗中也取得了勝利。
　　在日常生活中，經(jīng)常需要在信息不完善或不確定的情況下做決策