基于并行強(qiáng)化學(xué)習(xí)的建筑節(jié)能方法研究.pdf

1、在全世界范圍內(nèi)，建筑能耗在社會總能耗中占比較高，并且以較快速度在逐年增長，建筑節(jié)能已成為所有國家能源政策上的首要目標(biāo)。建筑能耗的80％是建筑運(yùn)行能耗，因此降低建筑能耗的有效手段是采取科學(xué)技術(shù)對建筑物內(nèi)相關(guān)設(shè)備進(jìn)行控制。此外，在建筑節(jié)能控制領(lǐng)域，傳統(tǒng)控制方法通常存在穩(wěn)定性差、收斂速度慢等問題。隨著人工智能技術(shù)發(fā)展，智慧建筑節(jié)能的概念逐漸獲得研究者的關(guān)注，相關(guān)智能化控制方法研究也成為了研究的熱點(diǎn)，其中強(qiáng)化學(xué)習(xí)方法是目前智慧建筑節(jié)能方法的研究

2、重點(diǎn)。本文主要以建筑節(jié)能問題為出發(fā)點(diǎn)，主要對基于強(qiáng)化學(xué)習(xí)的建筑節(jié)能控制方法及框架展開研究，具體內(nèi)容包括以下三部分:
　　(1)為解決建筑節(jié)能控制領(lǐng)域中強(qiáng)化學(xué)習(xí)控制方法在實際應(yīng)用中收斂速度慢的問題，本文結(jié)合多線程技術(shù)和經(jīng)驗回放技術(shù)，提出一種多線程并行強(qiáng)化學(xué)習(xí)算法MPRL。MPRL主要由兩部分構(gòu)成，一是基于模糊聚類的強(qiáng)化學(xué)習(xí)多線程劃分方法:通過模糊聚類的方式將策略向量分配到不同的線程中進(jìn)行并行策略評估。二是并行強(qiáng)化學(xué)習(xí)框架:并行運(yùn)行策

3、略評估過程以及環(huán)境交互過程，同時引入經(jīng)驗回放技術(shù)，將交互中產(chǎn)生的樣本存入樣本池，利用樣本反復(fù)更新Q值函數(shù)，該方法可有效加快算法學(xué)習(xí)過程。將MPRL與Q-Learning,Sarsa和KCACL算法進(jìn)行對比，分別應(yīng)用于random walk問題、windy grid world問題和cart pole問題中。實驗數(shù)據(jù)表明，MPRL擁有更好的收斂性能和更快的學(xué)習(xí)速率。
　　(2)對建筑節(jié)能控制問題進(jìn)行馬爾科夫決策過程建模，并提出一種基

4、于強(qiáng)化學(xué)習(xí)的自適應(yīng)控制方法RLAC，用于求解建筑物內(nèi)相關(guān)設(shè)備的最優(yōu)控制策略，達(dá)到節(jié)能的目的。RLAC首先對環(huán)境和強(qiáng)化學(xué)習(xí)信號進(jìn)行建模，通過與環(huán)境進(jìn)行交互，用Q-Learning算法更新Q值函數(shù)，算法可以收斂到最優(yōu)Q值函數(shù)，從而學(xué)習(xí)到最優(yōu)控制策略。通過仿真房間模型的實驗，將RLAC與傳統(tǒng)控制方法進(jìn)行對比，實驗結(jié)果表明所提出的RLAC方法具有一定的節(jié)能性、更快的收斂速度和更好的穩(wěn)定性。
　　(3)結(jié)合面向建筑節(jié)能的馬爾科夫決策過程模型

5、，將并行強(qiáng)化學(xué)習(xí)方法用于建筑節(jié)能問題，并提出一種基于并行強(qiáng)化學(xué)習(xí)的建筑節(jié)能方法。該方法結(jié)合多線程技術(shù)和經(jīng)驗回放技術(shù)提出多線程并行強(qiáng)化學(xué)習(xí)算法框架，通過計算樣本之間的距離，選取低相似度的樣本構(gòu)造多樣性樣本池，Agent的學(xué)習(xí)過程是從多樣性樣本池中選取樣本學(xué)習(xí)，可有效避免學(xué)習(xí)資源的浪費(fèi)。該方法能有效提高算法學(xué)習(xí)效率、加速算法學(xué)習(xí)過程。實驗包括在仿真房間模型上與Q-Learning算法以及經(jīng)典PID控制方法的對比，結(jié)果表明，所提出的并行算法具