智能優(yōu)化算法的研究

1、智能優(yōu)化算法的研究,問題-一個(gè)人問數(shù)學(xué)家他的三個(gè)兒子都是幾歲。他三個(gè)兒子的年齡積是36，年齡和是某棟房子的窗戶個(gè)數(shù)。數(shù)學(xué)家又要求再提供一個(gè)信息，這人說他的大兒子的眼睛是藍(lán)色的。,請(qǐng)算出三個(gè)兒子的年齡？,answer,AI for GamesCM-0328D,,,Bluffer’s guide to game theory,The Prisoner’s Dilemma,P1,P2,Next week…,Decision Making E

2、xample,Goods must be transported from factories in Watford, Maidstone and Manchester to Depots in Birmingham, Sheffield and London. The cost per unit transported and the number of units supplied or in demand is given in

3、the following table. Find a delivery plan which satisfies the demand at each depot for minimum cost.,計(jì)算最少花費(fèi),,Phases problem analysis,最優(yōu)化問題,優(yōu)化技術(shù)是一種以數(shù)學(xué)為基礎(chǔ)，用于求解各種工程問題優(yōu)化解的應(yīng)用技術(shù)，主要應(yīng)用在系統(tǒng)控制、人工智能、模式識(shí)別、生產(chǎn)調(diào)度、VLSI技術(shù)、計(jì)算機(jī)工程等。,優(yōu)化算法,是一種

4、搜索過程或規(guī)則，基于某種思想和機(jī)制，通過一定的途徑或規(guī)則來滿足用戶要求的問題的解。分類為： (1) 經(jīng)典算法-線性規(guī)劃、動(dòng)態(tài)規(guī)劃、整數(shù)規(guī)劃、分支定界等運(yùn)籌學(xué)的傳統(tǒng)算法。 (2) 構(gòu)造算法-用構(gòu)造的方法快速建立問題的解。 (3) 改進(jìn)算法-或鄰域搜索算法，從任一解出發(fā)，對(duì)其鄰域的不斷搜索和當(dāng)前解替換的來實(shí)現(xiàn)優(yōu)化。局部搜索法和指導(dǎo)性搜索法。 (4) 基于系統(tǒng)動(dòng)態(tài)演化的方法-將優(yōu)化過程轉(zhuǎn)化為系統(tǒng)動(dòng)態(tài)的演

5、化過程，基于系統(tǒng)動(dòng)態(tài)的演化來實(shí)現(xiàn)優(yōu)化。神經(jīng)網(wǎng)絡(luò)和混沌搜索等。 (5) 混合型算法-將上述算法從結(jié)構(gòu)或操作上相混合而產(chǎn)生的各類算法。,爬山法搜索Hill-Climbing,貪婪局部搜索Function Hill-Climbing(problem) //returns a state that is a local maximum input: problem, a problem local variables: cur

6、rent, a node neighbor, a node current=Make-Node(Initial-State[problem]) loop do neighbor=a highest-valued successor of current if Value[neighbor]<=Value[current] then retu

7、rn State[current] else current=neighbor,爬山法搜索Hill-Climbing,該算法是一個(gè)向值增加的方向持續(xù)移動(dòng)的簡(jiǎn)單循環(huán)過程， 登高。將會(huì)在到達(dá)頂峰時(shí)終止，相鄰狀態(tài)中沒有比它更高的值。,模擬退火搜索-基本含義Simulate Annealing,模擬退火算法（SA）在某一初溫下，伴隨溫度參數(shù)的不斷下降，結(jié)合概率突跳特性在解空間中隨機(jī)尋找目標(biāo)函數(shù)的全局最優(yōu)解，即在局部?jī)?yōu)解能概率性

8、地跳出并最終趨于全局最優(yōu)。,模擬退火搜索-算法描述Simulate Annealing,Function Simulated-Annealing(problem,schedule) //returns a solution state inputs: problem, a problem schedule, a mapping from time to temperature local varia

9、bles: current, a node next, a node T, a temperature controlling probability of downward steps current=Make-Node(Initial-State[problem]) for t=1 to ∞ do T=schedul

10、e[t] if T==0 then return current next= a randomly selected successor of current △E=Value]next]-Value[current] if △E>0 then current=next else current=next only with probability e?

11、//(n= △E/T),模擬退火搜索-說明Simulate Annealing,一個(gè)允許下山的隨機(jī)爬山法算法。在退火初期下山移動(dòng)容易接受，隨著時(shí)間推移下山的次數(shù)越來越少。尋求梯度下降（耗散最?。?禁忌搜索-基本思想Taboo Search,禁忌搜索(Tabo Search or Taboo Search, TS): 給定一個(gè)當(dāng)前解（初始解）和一種鄰域，在當(dāng)前解的鄰域中確定若干候選解；

12、若最佳候選解對(duì)應(yīng)的目標(biāo)值優(yōu)于best so far狀態(tài)，則忽視其禁忌特性，用其代替當(dāng)前解和best so far狀態(tài)，并將相應(yīng)的對(duì)象加入禁忌表，同時(shí)修改禁忌表中各對(duì)象的任期； 若不存在上述候選解，則選擇在候選解中選擇非禁忌的最佳狀態(tài)為新的當(dāng)前解，將相應(yīng)的對(duì)象加入禁忌表，并修改表中各對(duì)象的任期；如此反復(fù)迭代搜索過程，指導(dǎo)滿足停止準(zhǔn)則。,給定算法參數(shù)，隨機(jī)產(chǎn)生初始解x，置禁忌表為空；判斷算法終止條件是否滿足？是，則結(jié)

13、束算法并輸出優(yōu)化結(jié)構(gòu)；否，繼續(xù)；利用當(dāng)前解x的鄰域函數(shù)產(chǎn)生其所有鄰域解，并從中確定若干候選解；對(duì)候選解判斷藐視準(zhǔn)則是否滿足？成立，則用滿足藐視準(zhǔn)則的最佳狀態(tài)y替換x成為新的當(dāng)前解，即x=y，并用于y對(duì)應(yīng)的禁忌對(duì)象替換最早進(jìn)入禁忌表的禁忌對(duì)象，用y替換best so far狀態(tài)，轉(zhuǎn)到（2）；不成立，執(zhí)行（5）；判斷候選解對(duì)應(yīng)的各對(duì)象的禁忌屬性，選擇候選解中非禁忌對(duì)象的最佳狀態(tài)為新的當(dāng)前解，同時(shí)用與之對(duì)應(yīng)的禁忌對(duì)象替換最早進(jìn)入禁忌表的

14、禁忌對(duì)象元素。,禁忌搜索-基本思想-說明Taboo Search,（1）搜索過程中可以接受劣解，具有較強(qiáng)的爬山能力；（2）新解不是在當(dāng)前解的鄰域中隨機(jī)產(chǎn)生，而是，或是由于best so far的解，或是非禁忌的最佳解。選取優(yōu)良解的概率遠(yuǎn)大于其他解。,知 識(shí) 表 示,人工智能主要研究用機(jī)器來模仿和執(zhí)行人類的一些智力功能，而人類的智力功能又是以知識(shí)為基礎(chǔ)，所以如何從現(xiàn)實(shí)世界中獲取知識(shí)，如何將已獲取的知識(shí)以適當(dāng)?shù)男问皆跈C(jī)器中存儲(chǔ)，以及如何

15、利用這些知識(shí)進(jìn)行推理以解決實(shí)際問題，即知識(shí)的獲取、知識(shí)的表示和知識(shí)的運(yùn)用就構(gòu)成人工智能研究的三個(gè)主要內(nèi)容。,知識(shí)、數(shù)據(jù)和信息,,狀態(tài)空間表示法,由一個(gè)問題的全部狀態(tài)以及可以使用的全部操作所構(gòu)成的集合就稱為該問題的狀態(tài)空間。它一般由三部分構(gòu)成：?jiǎn)栴}可能具有的初始狀態(tài)的集合S，操作的集合F，目標(biāo)狀態(tài)的集合G。用三元組表示如下：,,狀態(tài)空間表示法的基本思想,用“狀態(tài)”和“操作”來表示問題及其變化，形成狀態(tài)空間，求解問題的過程就是在狀態(tài)空間樹中

16、搜索表示解的狀態(tài)的過程。搜索時(shí)，從某個(gè)初始狀態(tài)出發(fā)，每次使用一個(gè)操作使得問題能夠從一種狀態(tài)變?yōu)榱硗庖环N狀態(tài)，直到到達(dá)目標(biāo)狀態(tài)為止。,,8 3 6 47 ■ 5,初始狀態(tài),1 2 3 ■ 8 47 6 5,目標(biāo)狀態(tài),,要求：用盡可能少棋步能由初始狀態(tài)到達(dá)目標(biāo)狀態(tài)。,產(chǎn)生式系統(tǒng) Production System,產(chǎn)生式系統(tǒng)（Production System）是194

17、3年P(guān)ost提出的一種計(jì)算形式體系里所使用的術(shù)語，主要是使用類似于文法的規(guī)則，對(duì)符號(hào)串作替換運(yùn)算。產(chǎn)生式系統(tǒng)的組成部分　　綜合數(shù)據(jù)庫、產(chǎn)生式規(guī)則集和控制系統(tǒng)，被稱為產(chǎn)生式系統(tǒng)的三要素。,產(chǎn)生式系統(tǒng)組成,產(chǎn)生式系統(tǒng) Production System,綜合數(shù)據(jù)庫-是一個(gè)數(shù)據(jù)的集合，用于存放在推理過程中的已知條件、推導(dǎo)出的中間結(jié)果和最終結(jié)論等。產(chǎn)生式規(guī)則集-采用“IF THEN ”的形式，其中規(guī)則的表達(dá)的是該條規(guī)則所要滿足的條件，

18、規(guī)則的表示的是該規(guī)則所得出的結(jié)論，或者動(dòng)作。以中國(guó)象棋為例，前者描述的是象棋的走棋規(guī)則，如“馬走日”、“象走田”等。后者描述是在什么情況下，應(yīng)該如何走棋才能戰(zhàn)勝對(duì)手，或者什么樣的局面比較有力，什么樣的局面不利等。控制系統(tǒng)，又稱為控制策略或者搜索策略，用于控制系統(tǒng)的運(yùn)行，它根據(jù)綜合數(shù)據(jù)庫中的當(dāng)前數(shù)據(jù)，來選擇合適的規(guī)則。不同的選擇規(guī)則的方法，就構(gòu)成了不同的控制策略。因此，控制系統(tǒng)也可以稱之為推理引擎。,Example-八數(shù)碼游戲,八數(shù)碼

19、游戲（Eight－Puzzle）　　在3×3組成的九宮格棋盤上，擺有八個(gè)將牌，每一個(gè)將牌都刻有1-8數(shù)碼中的某一個(gè)數(shù)碼。棋盤中留有一個(gè)空格，允許其周圍的某一個(gè)將牌向空格移動(dòng)，這樣通過移動(dòng)將牌就可以不斷改變將牌的布局。這種游戲求解的問題是：給定一種初始的將牌布局或結(jié)構(gòu)（稱初始狀態(tài)）和一個(gè)目標(biāo)的布局（稱目標(biāo)狀態(tài)），問如何移動(dòng)將牌，實(shí)現(xiàn)從初始狀態(tài)到目標(biāo)狀態(tài)的轉(zhuǎn)變。問題的解答其實(shí)就是給出一個(gè)合法的走步序列。,八數(shù)碼游戲,,初始狀態(tài),

20、目標(biāo)狀態(tài),八數(shù)碼游戲-產(chǎn)生式表示,（1）綜合數(shù)據(jù)庫：在這里是要選擇一種數(shù)據(jù)結(jié)構(gòu)來表示將牌的布局。有符號(hào)串、向量、集合、數(shù)組、樹、表格、文件等。八數(shù)碼問題，選用二維數(shù)組來表示將牌的布局很直觀，因此該問題的綜合數(shù)據(jù)庫可以如下形式表示：（ Sij），其中1≤i、j≤3， ∈{0，1，…，8}，且 互不相等。這樣每一個(gè)具體的矩陣就可表示一個(gè)棋局狀態(tài)。對(duì)八數(shù)碼游戲，顯然共有9!＝362880個(gè)狀態(tài)。所有可能的狀態(tài)集合就構(gòu)成該問題的狀態(tài)空間或

21、問題空間。八數(shù)碼問題實(shí)際上是將牌在移動(dòng)，但將牌的移動(dòng)也可以看成是空格的移動(dòng)。由于空格只有一個(gè)，因此表示起來更方便。,八數(shù)碼游戲-產(chǎn)生式表示,八數(shù)碼游戲-產(chǎn)生式表示,（2）規(guī)則集合：移動(dòng)一塊將牌（即走一步）就使?fàn)顟B(tài)發(fā)生轉(zhuǎn)變。改變狀態(tài)有4種走法：空格左移、空格上移、空格右移、空格下移。規(guī)則集可形式化表示如下：設(shè) Sij記矩陣第i行第j列的數(shù)碼， i0,j0記空格所在的行、列數(shù)值，即 Si0j0=0，則 If j0-1>=1 t

22、hen Si0j0=Si0(j0-1),Si0(j0-1)=0;If i0-1>=1 then Si0j0=S(i0-1)j0,S(i0-1)j0=0;If j0+1<=3 then Si0j0=Si0(j0+1),Si0(j0+1)=0;If i0+1<=3 then Si0j0=S(i0+1)j0,S(i0+1)j0=0;,八數(shù)碼游戲-產(chǎn)生式表示,（3）搜索策略：是從規(guī)則集中選取規(guī)則并作用于狀態(tài)的一種廣義選取

23、函數(shù)。給出問題的初始狀態(tài)和結(jié)束狀態(tài)（目標(biāo)狀態(tài)）。初始狀態(tài)和結(jié)束狀態(tài)要求采用與綜合數(shù)據(jù)庫相同的結(jié)構(gòu)表達(dá)。,Example-傳教士和野人問題,傳教士和野人問題（Missionaries and Cannibals）　 有N個(gè)傳教士和N個(gè)野人來到河邊準(zhǔn)備渡河，河岸有一條船，每次至多可供k人乘渡。問傳教士為了安全起見，應(yīng)如何規(guī)劃擺渡方案，使得任何時(shí)刻，在河的兩岸以及船上的野人數(shù)目總是不超過傳教士的數(shù)目。即求解傳教士和野人從左岸全部擺渡到右

24、岸的過程中，任何時(shí)刻滿足M（傳教士數(shù)）≥C（野人數(shù)）和M＋C≤k的擺渡方案。設(shè)N＝3，k＝2，L和R表示左岸和右岸，B＝1或0分別表示有船或無船。約束條件是：兩岸上M≥C，船上M＋C≤2。只描述一岸--如左岸--的情況就可以了。,Example-傳教士和野人問題,,初始狀態(tài),目標(biāo)狀態(tài),傳教士和野人問題-產(chǎn)生式規(guī)則表示,（1）綜合數(shù)據(jù)庫：用三元組表示左岸的情況，即（Ml ，Cl ，Bl ），其中0≤Ml ，Cl ≤3， Bl∈

25、{0，1}，其中 Ml表示在左岸的傳教士人數(shù)， Cl表示在左岸的野人數(shù)，Bl ＝1表示船在左岸，Bl ＝0表示船在右岸。則此時(shí)問題描述可以簡(jiǎn)化為：（3，3，1）→（0，0，0）,傳教士和野人問題-產(chǎn)生式規(guī)則表示,（ Ml, Cl, Bl）（ 0　0　0）（ 0　1　0）（ 0　2　0）（ 0　3　0）達(dá)不到 （ 1　0　0）不合法 （ 1　1　0） （ 1　2　0）不合法 （ 1　3　0）不合法 （ 2　0　0）不

26、合法 （ 2　1　0）不合法 （ 2　3　0）不合法 （ 3　0　0） （ 2　2　0） （ 3　1　0） （ 3　2　0） （ 3　3　0）達(dá)不到,（ Ml, Cl, Bl ） （ 0　0　1）達(dá)不到 （ 0　1　1） （ 0　2　1） （ 0　3　1） （ 1　0　1）不合法 （ 1　1　1） （ 1　2　1）不合法 （ 1　3　1）不合法 （ 2　0　1）不合法 （ 2　1　1）不合法 （

27、 2　2　1） （ 2　3　1）不合法 （ 3　0　1）達(dá)不到 （ 3　1　1） （ 3　2　1） （ 3　3　1）,傳教士和野人問題-產(chǎn)生式規(guī)則表示,（2）規(guī)則集合：由擺渡操作組成。該問題主要有兩種操作： Pmc操作（規(guī)定為從左岸劃向右岸）和 Qmc操作（從右岸劃向左岸）。每次擺渡操作，船上人數(shù)有五種組合，因而組成有10條規(guī)則的集合。,規(guī)則集合,If(Ml,Cl,Bl=1) then P(Ml-1,Cl,Bl-1)

28、 // p10If(Ml,Cl,Bl=1) then P(Ml,Cl-1,Bl-1)   // p01If(Ml,Cl,Bl=1) then P(Ml-1,Cl-1,Bl-1)   // p11If(Ml,Cl,Bl=1) then P(Ml-2,Cl,Bl-1) // p20If(Ml,Cl,Bl=1) then P(Ml,Cl-2,Bl-1)  

29、// p02If(Ml,Cl,Bl=0) then Q(Ml+1,Cl,Bl+1)   // q10If(Ml,Cl,Bl=0) then Q(Ml,Cl+1,Bl+1)   // q01If(Ml,Cl,Bl=0) then Q(Ml+1,Cl+1,Bl+1)  // q11 If(Ml,Cl,Bl=0) then Q(Ml+2,Cl,Bl+1)   // q20If

30、(Ml,Cl,Bl=0) then Q(Ml,Cl+2,Bl+1)   // q02,初始和目標(biāo)狀態(tài),（3）初始和目標(biāo)狀態(tài)：即（3，3，1）和（0，0，0）。狀態(tài)轉(zhuǎn)換見下圖。,產(chǎn)生式系統(tǒng)的基本過程,例：設(shè)字符轉(zhuǎn)換問題規(guī)則如下：A∧B→CA∧C→DB∧C→GB∧E→FD→E已知：A，B求：F用產(chǎn)生式系統(tǒng)來描述該問題。（1）綜合數(shù)據(jù)庫 綜合數(shù)據(jù)庫用集合{x}表示，其中x為字符。（2）規(guī)

31、則集 1，IF A∧B THEN C 2，IF A∧C THEN D 3，IF B∧C THEN G 4，IF B∧E THEN F 5，IF D THEN E（3）控制策略 控制策略是選擇規(guī)則的方法，這里采用按照規(guī)則的自然順序選擇規(guī)則的

32、方法。稱為順序排隊(duì)。（4）初始狀態(tài)- {A，B}，A、B是已知條件。（5）結(jié)束條件- F∈{x}，當(dāng)目標(biāo)F在綜合數(shù)據(jù)庫中出現(xiàn)時(shí)，則F被求得。,Example-練習(xí),對(duì)量水問題給出產(chǎn)生式系統(tǒng)描述，并畫出狀態(tài)空間圖。有兩個(gè)無刻度標(biāo)志的水壺，分別可裝5升和2升的水。設(shè)另有一水缸，可用來向水壺灌水或倒出水，兩個(gè)水壺之間，水也可以相互傾灌。已知5升壺為滿壺，2升壺為空壺，問如何通過倒水或灌水操作，使能在2升的壺中量出一升的水來。,量

33、水問題-產(chǎn)生式規(guī)則,綜合數(shù)據(jù)庫定義兩元組：（L5, L2）其中：05 THEN (5, L5+L2-5) /* L2倒入L5中 */ r7：IF (L5, L2) and L5+L25 THEN (L5+L2-2, 2) /* L5倒入L2中 */3 初始狀態(tài)：(5, 0) 結(jié)束條件：(x, 1)，其中x表示不定。結(jié)束條件寫成：(0, 1) (5,0)->(3,2)->(3,0)->(1,2)->(

34、1,0)->(0,1),給出狀態(tài)轉(zhuǎn)換,,Exercise-狀態(tài)空間表示,井字棋游戲,假定我方先走：1 定義初始狀態(tài)、結(jié) 束狀態(tài)2 給出狀態(tài)轉(zhuǎn)換過程3 給出我方獲勝的路徑。,基本搜索方法的劃分,（1）求任一解路經(jīng)的搜索策略　　回溯法（Backtracking）　　爬山法（Hill Climbing）　　寬度優(yōu)先法（Breadth-first）　　深度優(yōu)先法（Depth-first）　　限定范圍搜索法（Beam Sea

35、rch）　　好的優(yōu)先法（Best-first）（2）求最佳解路經(jīng)的搜索策略　　大英博物館法（British Museum）　　分枝界限法（Branch and Bound）　　動(dòng)態(tài)規(guī)劃法（Dynamic Programming）　　最佳圖搜索法（A﹡）（3）求與或關(guān)系解圖的搜索法　　一般與或圖搜索法（AO﹡）　　極小極大法（Minimax）　　α－β剪枝法（Alpha-beta Pruning）　　啟發(fā)式剪枝法（H

36、euristic Pruning）,小結(jié),本次課主要介紹了最優(yōu)化的一些簡(jiǎn)單算法，讓我們知道人工智能的理論研究遠(yuǎn)遠(yuǎn)沒有結(jié)束，不論你研究哪一方面，都會(huì)用到優(yōu)化算法。產(chǎn)生式規(guī)則是一種基本的知識(shí)表示形式，我們僅僅介紹了它的組成部分。,總結(jié),本門課程簡(jiǎn)要向同學(xué)們介紹了人工智能思想的廣泛用途和應(yīng)用價(jià)值，并結(jié)合游戲的基本實(shí)現(xiàn)過程融入人工智能思想，進(jìn)一步介紹了人工智能研究中的重要方法，如狀態(tài)機(jī)、模糊邏輯、貝葉斯、遺傳算法。但我們?nèi)匀粵]能包含全部，如神