基于ERL的虛擬物種進(jìn)化.pdf

1、人工生命作為一個(gè)新的研究領(lǐng)域，其關(guān)于進(jìn)化的研究是最基本和最重要的課題。它以生命現(xiàn)象為研究對(duì)象，以生命過程的機(jī)理及其工程實(shí)現(xiàn)技術(shù)為主要研究?jī)?nèi)容，以擴(kuò)展人的生命功能為主要研究目標(biāo)。人工生命的研究興趣在于對(duì)生命系統(tǒng)行為特性的仿生，學(xué)科中使用由下而上合成的方法，使人工系統(tǒng)具有很好的適應(yīng)性、靈活性。虛擬生物是智能虛擬環(huán)境的一部分，也是檢驗(yàn)人工生命理論的一種實(shí)驗(yàn)手段。從人工生命的觀點(diǎn)來看，虛擬生物的感知、認(rèn)知是進(jìn)化計(jì)算中自發(fā)涌現(xiàn)的結(jié)果，本質(zhì)上也是一

2、個(gè)模式形成過程。因此對(duì)其中agent的研究可以增進(jìn)整個(gè)系統(tǒng)的能力。人工生命的研究在人工智能系統(tǒng)中有著理論和應(yīng)用的重要性，其中它的進(jìn)化模型義能解決機(jī)器學(xué)習(xí)、函數(shù)優(yōu)化、信號(hào)處理中的一些問題。 機(jī)器學(xué)習(xí)是人類使用計(jì)算機(jī)來模擬生物學(xué)習(xí)能力的一種手段。它是人工智能研究中的重要一環(huán)，它的研究對(duì)人工智能和機(jī)器人技術(shù)的發(fā)展具有重要的意義。增強(qiáng)學(xué)習(xí)是近幾十年來迅速發(fā)展起來的一類機(jī)器學(xué)習(xí)方法。它不需要先驗(yàn)知識(shí)，因此是一種弱化了指導(dǎo)學(xué)習(xí)的學(xué)習(xí)方法。它

3、通過和環(huán)境交互時(shí)使用的試錯(cuò)法來學(xué)習(xí)，這是增強(qiáng)學(xué)習(xí)的特點(diǎn)之一。增強(qiáng)學(xué)習(xí)應(yīng)該理解為一類問題的集合，而不是一類方法的集合。當(dāng)agent必須通過和環(huán)境的試錯(cuò)式交互來提高自己的行為、達(dá)到某種目的時(shí)，它所面臨的問題就是增強(qiáng)學(xué)習(xí)的問題。由于人工生命是一個(gè)多agent系統(tǒng)，其中的虛擬環(huán)境是動(dòng)態(tài)變化的，其他agent的行為是未知的，因此在人工生命模型中使用增強(qiáng)學(xué)習(xí)模型有利于agent在虛擬環(huán)境中的自學(xué)習(xí)與自適應(yīng)。 進(jìn)化增強(qiáng)學(xué)習(xí)是將增強(qiáng)學(xué)習(xí)與智能計(jì)

4、算相結(jié)合的一種學(xué)習(xí)方式，原有的進(jìn)化增強(qiáng)學(xué)習(xí)采用了增強(qiáng)學(xué)習(xí)的學(xué)習(xí)框架，使用神經(jīng)網(wǎng)絡(luò)與遺傳算法相結(jié)合的方法米實(shí)現(xiàn)該框架。該模型中一個(gè)agent具有評(píng)估網(wǎng)和行動(dòng)網(wǎng)兩種神經(jīng)網(wǎng)絡(luò)，它們分別對(duì)評(píng)估和決策進(jìn)行計(jì)算得出行動(dòng)策略，并使用遺傳算法對(duì)這兩個(gè)網(wǎng)絡(luò)進(jìn)行權(quán)值優(yōu)化。在增強(qiáng)學(xué)習(xí)中策略的開發(fā)與探索之間的平衡決定了agent是開發(fā)未執(zhí)行過的行為集還是繼續(xù)探索己經(jīng)在學(xué)習(xí)過程中得到的知識(shí)。一味的開發(fā)將使agent很快地陷入局部最優(yōu)，雖然探索可以跳出局部最優(yōu)并加

5、速學(xué)習(xí)，但過多的探索將影響算法的性能。原有的ERL模型在這方面沒有很好的進(jìn)行處理，另外此理論在應(yīng)用中還存在著狀態(tài)空間壓縮，信用分配等問題，因此這種學(xué)習(xí)方式具有一定的局限性。 本文旨在原有的進(jìn)化增強(qiáng)學(xué)習(xí)模型基礎(chǔ)上建立一個(gè)多agent系統(tǒng)，創(chuàng)建一種能平衡搜索與利用關(guān)系的改進(jìn)模型，以提高agent在虛擬環(huán)境中的適應(yīng)水平，同時(shí)觀察學(xué)習(xí)與進(jìn)化在agent中的體現(xiàn)以及虛擬生物在虛擬環(huán)境中怎樣處理生存與繁殖問題，并期望在一定程度上體現(xiàn)人工生命

6、群聚智能和“涌現(xiàn)”特征。 Q學(xué)習(xí)是在增強(qiáng)學(xué)習(xí)基礎(chǔ)之上發(fā)展起來的一種新的機(jī)器學(xué)習(xí)方法，它的學(xué)習(xí)方法是以Q值的大小為指導(dǎo)。在實(shí)現(xiàn)過程中改進(jìn)模型結(jié)合了進(jìn)化增強(qiáng)學(xué)習(xí)的Q學(xué)習(xí)算法與分布式策略方法，遵循學(xué)習(xí)與進(jìn)化對(duì)人工生命中的虛擬生物的指導(dǎo)作用，使用神經(jīng)網(wǎng)絡(luò)完成虛擬物種在虛擬環(huán)境中對(duì)環(huán)境的學(xué)習(xí)和對(duì)自身如何進(jìn)化的學(xué)習(xí)，弱化了指導(dǎo)學(xué)習(xí)在學(xué)習(xí)過程中的作用，使agent依靠環(huán)境作為學(xué)習(xí)的回饋，有著更好的適應(yīng)性。模型中的神經(jīng)網(wǎng)絡(luò)結(jié)合遺傳算法實(shí)現(xiàn)了一個(gè)

7、agent評(píng)估一決策模型，使agent能進(jìn)行有目的的移動(dòng)并在行為過程中得到學(xué)習(xí)，并且使用Actot-Critic模型中的感知作為行動(dòng)神經(jīng)網(wǎng)絡(luò)的輸入。在神經(jīng)網(wǎng)絡(luò)計(jì)算過程中結(jié)合了遺傳算法和分布式策略，行動(dòng)網(wǎng)的最終輸出是一種基于馬爾可大決策鏈的增強(qiáng)學(xué)習(xí)結(jié)果，這個(gè)結(jié)果不是單一的值而是對(duì)行動(dòng)概率的一種描述，當(dāng)感知到食物或在滿足繁殖條什的情況下，agent的行動(dòng)在自身行動(dòng)網(wǎng)輸出的基礎(chǔ)上依照概率選出，岡此在加強(qiáng)了收斂效果的同時(shí)也體現(xiàn)了agent的自學(xué)

8、習(xí)功能。此外還利用遺傳算法作為虛擬物種的進(jìn)化規(guī)則，使得具有高適應(yīng)度的物種能夠生存并繁衍下去，籍此使虛擬生物的進(jìn)化得以實(shí)現(xiàn)，從而完成agent對(duì)外界環(huán)境的自適應(yīng)功能。 該模型依據(jù)揭示進(jìn)化與學(xué)習(xí)關(guān)系的Baldwin效應(yīng)，在神經(jīng)網(wǎng)絡(luò)、進(jìn)化學(xué)習(xí)、增強(qiáng)學(xué)習(xí)以及分布式方法的結(jié)合運(yùn)用下實(shí)現(xiàn)agent的學(xué)習(xí)與進(jìn)化，體現(xiàn)了學(xué)習(xí)和進(jìn)化在人工生命中的重要性以及兩者之間的相互作用。 目前相關(guān)實(shí)驗(yàn)大多聚集在單一環(huán)境中的虛擬物種進(jìn)化學(xué)習(xí)過程研究上，

9、改進(jìn)后的增強(qiáng)學(xué)習(xí)算法不僅能夠較快的收斂并且具有較好的適應(yīng)度，還增強(qiáng)了agent對(duì)非單元環(huán)境的適應(yīng)性。 在文章最后，對(duì)于該模型的具體實(shí)現(xiàn)與觀察結(jié)果列出了一些相關(guān)實(shí)驗(yàn)數(shù)據(jù)，并將實(shí)驗(yàn)結(jié)果的采樣與其他相關(guān)實(shí)驗(yàn)進(jìn)行比較。從給出的仿真模型中表明，agent在具有自由活動(dòng)、覓食、繁殖、逃避等行為特征的同時(shí)，其臼身算法的效果有了一定提高。使用該模型有助于agent對(duì)外界環(huán)境的學(xué)習(xí)與行為決策，并且有較好的收斂性與進(jìn)化適應(yīng)度。 本項(xiàng)目具有一