電子市場環(huán)境下的多智能體學(xué)習(xí)與協(xié)商.pdf

1、隨著互聯(lián)網(wǎng)絡(luò)的迅速發(fā)展，人們傾向于將越來越多的互聯(lián)系統(tǒng)看作是多個(gè)相互交互的自主智能體，這種面向智能體的方法學(xué)為我們分析、設(shè)計(jì)、實(shí)施和評(píng)價(jià)復(fù)雜的分布式系統(tǒng)提供了強(qiáng)有力的工具。多智能體系統(tǒng)(MAS)和智能體技術(shù)正是在這個(gè)背景下提出并發(fā)展起來的。作為分布式人工智能(DAI)中一個(gè)分支學(xué)科，MAS從20世紀(jì)80年代開始研究，到90年代得到廣泛認(rèn)同，目前正逐漸引起越來越多的關(guān)注和研究。在分布、互聯(lián)、自治的網(wǎng)絡(luò)環(huán)境下，電子市場成為一個(gè)熱點(diǎn)的應(yīng)用領(lǐng)域

2、。這主要是因?yàn)榻?jīng)濟(jì)全球化和信息技術(shù)的推動(dòng)，使得每個(gè)企業(yè)能夠隨時(shí)收集市場信息并變更行為，因此每個(gè)企業(yè)都處在一個(gè)競爭的、不斷動(dòng)態(tài)變換的市場下。而電子市場具有信息集中，決策迅速的優(yōu)勢，因此日益成為協(xié)調(diào)生產(chǎn)、制造和銷售等環(huán)節(jié)的有效手段。 本文的研究內(nèi)容可以從理論和應(yīng)用兩個(gè)層面來概括。在理論層面上屬于MAS領(lǐng)域，內(nèi)容涵蓋了MAS研究領(lǐng)域的主要方面，包括：多智能體學(xué)習(xí)、推理、協(xié)商、交互機(jī)制等等；在應(yīng)用層面上圍繞電子市場的實(shí)際應(yīng)用，討論了電子

3、市場定價(jià)、物流配貨、原料配置、C2C交易協(xié)商、B2C協(xié)商等問題。本文的創(chuàng)新點(diǎn)主要可以從以下幾方面來概括。 1、針對(duì)協(xié)調(diào)博弈提出了基于內(nèi)省推理的多智能體在線學(xué)習(xí)方法(ⅡFPQL)，將基于對(duì)手模型的客觀觀察行為與基于換位思考推理的主觀意圖推測結(jié)合起來，智能體通過推理得到了更多的對(duì)手信息，因此能夠取得更好的協(xié)調(diào)性能。仿真結(jié)果證實(shí)了算法在少數(shù)者博弈和經(jīng)典協(xié)調(diào)博弈中的有效性。 2、將電子市場定價(jià)問題建模為一個(gè)多吸收狀態(tài)的馬爾可夫博

4、弈模型，并通過仿真實(shí)驗(yàn)在定價(jià)模型上驗(yàn)證了ⅡFPQL算法的有效性，結(jié)果表明ⅡFQPL算法能夠使得賣方智能體在合作還是競爭的問題上表現(xiàn)出長遠(yuǎn)的智能行為。 3、給出了三個(gè)分布式環(huán)境下的多智能體合作學(xué)習(xí)方法。針對(duì)Q學(xué)習(xí)狀態(tài)空間大，收斂速度慢的問題，首先給出了一種基于黑板模型的多智能體合作學(xué)習(xí)方法(BBMML)，智能體之間通過開關(guān)函數(shù)協(xié)調(diào)了對(duì)Q表的更新，避免了無效的更新，加快了收斂速度；進(jìn)一步在BBMML基礎(chǔ)上給出了多智能體學(xué)習(xí)的進(jìn)化算法

5、(E-BBMML)，智能體通過繁殖操作，能夠更快的找到狀態(tài)—?jiǎng)幼骺臻g的有效更新；最后給出了一種基于狀態(tài)空間劃分的多智能體在線合作學(xué)習(xí)方法(SSPML)，使得智能體在特定的子空間上進(jìn)行特化，從而能夠較快的學(xué)習(xí)到局部最優(yōu)的行為。仿真實(shí)驗(yàn)表明BBMML和E-BBMML能夠加快收斂速度，SSPML能夠取得比全局學(xué)習(xí)更好的在線學(xué)習(xí)性能。 4、基于市場機(jī)制建立了多智能體之間的協(xié)商模型(MMN)，市場智能體作為中間人通過市場規(guī)則對(duì)智能體的個(gè)體

6、選擇進(jìn)行綜合并將綜合后的結(jié)果反饋給每個(gè)智能體，這一機(jī)制較好的總結(jié)了各個(gè)終端智能體的個(gè)體信息，從而優(yōu)化個(gè)體行為。以電子市場原料配置為例進(jìn)行了仿真實(shí)驗(yàn)，實(shí)驗(yàn)表明MMN使得每個(gè)智能體的效用都有所改善，從而改善了系統(tǒng)的全局收益；進(jìn)一步，為適應(yīng)分布式環(huán)境下智能體的信息私密性要求，提出并驗(yàn)證了基于邊際效用的市場機(jī)制協(xié)商模型(MUMMN)；最后給出了動(dòng)態(tài)原料配置問題的應(yīng)用模型。 5、基于自適應(yīng)模糊推理建立了交易智能體的一對(duì)一協(xié)商模型。給出了C

7、DA協(xié)議下買賣雙方參與竟標(biāo)的模糊規(guī)則及模糊推理方法。在推理過程中，交易智能體可以根據(jù)市場需求狀況和自身特性對(duì)模糊規(guī)則的某些參數(shù)進(jìn)行合理優(yōu)化，從而自動(dòng)適應(yīng)市場變化。 6、針對(duì)海量商品數(shù)據(jù)庫的商品搜索服務(wù)，給出了一個(gè)基于模糊約束規(guī)劃模型的自動(dòng)協(xié)商系統(tǒng)。建立了模糊約束規(guī)劃模型并基于[Liu03]的工作利用模糊模擬、神經(jīng)網(wǎng)絡(luò)和遺傳算法給出了求解Pareto最優(yōu)解的混合智能算法；協(xié)商過程中賣方智能體根據(jù)神經(jīng)網(wǎng)絡(luò)擬合的效用函數(shù)并運(yùn)行混合智能