基于受限玻爾茲曼機(jī)的深度學(xué)習(xí)方法研究.pdf

1、深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重要研究方向，在近年來(lái)發(fā)展迅速。深度學(xué)習(xí)的主要思想是通過(guò)構(gòu)建多層的深度網(wǎng)絡(luò)結(jié)構(gòu)，使用高效的算法逐級(jí)提取數(shù)據(jù)的高級(jí)特征，來(lái)完成多種無(wú)監(jiān)督或有監(jiān)督學(xué)習(xí)任務(wù)。深度學(xué)習(xí)方法可看作神經(jīng)網(wǎng)絡(luò)相關(guān)研究的進(jìn)一步發(fā)展與延伸，解決了以往多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練困難的缺陷，同時(shí)也在神經(jīng)科學(xué)研究中獲取靈感，并結(jié)合其他機(jī)器學(xué)習(xí)理論和方法不斷改進(jìn)。在深度學(xué)習(xí)的主流模型中，受限玻爾茲曼機(jī)是一種重要的結(jié)構(gòu)組成單元，由兩層單元組成，借助于受限玻爾茲

2、曼機(jī)的概率特性，其組成的多層深度結(jié)構(gòu)可以首先使用逐層訓(xùn)練，然后整體使用神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法進(jìn)行參數(shù)的微調(diào)。這種方式不僅簡(jiǎn)化了訓(xùn)練過(guò)程，也提高了深度網(wǎng)絡(luò)對(duì)無(wú)標(biāo)簽數(shù)據(jù)特征提取的效率。本文主要研究基于受限玻爾茲曼機(jī)的深度學(xué)習(xí)方法，建立新的模型結(jié)構(gòu)，并改進(jìn)其訓(xùn)練算法。主要研究成果為:
　　1.考慮到受限波爾茲曼機(jī)層內(nèi)單元間沒有相互連接的特殊結(jié)構(gòu)，數(shù)據(jù)內(nèi)部的關(guān)聯(lián)信息將會(huì)丟失，因此提出基于膠質(zhì)細(xì)胞鏈的改進(jìn)受限玻爾茲曼機(jī)及深度信念網(wǎng)絡(luò)模型。膠質(zhì)細(xì)

3、胞是人腦中的一種特殊的神經(jīng)細(xì)胞，與一般神經(jīng)元相連，不僅可以調(diào)控神經(jīng)元的狀態(tài)，還可向其他膠質(zhì)細(xì)胞傳遞信號(hào)。本文向受限玻爾茲曼機(jī)中引入了膠質(zhì)細(xì)胞鏈，定義了相關(guān)激活更新規(guī)則，組成了多層的深度網(wǎng)絡(luò)結(jié)構(gòu)，并提出了一種改進(jìn)的訓(xùn)練算法，使深度網(wǎng)絡(luò)的訓(xùn)練速度提高，并增強(qiáng)了數(shù)據(jù)特征提取的性能。
　　2.膠質(zhì)細(xì)胞鏈?zhǔn)沟檬芟薏柶澛鼨C(jī)層內(nèi)單元間可以相互傳遞信息，但其單元的激活并沒有受到約束，導(dǎo)致提取出的特征區(qū)分性較差。因此本文結(jié)合神經(jīng)網(wǎng)絡(luò)中的一種結(jié)構(gòu)自

4、組織網(wǎng)絡(luò)相關(guān)理論，構(gòu)建出了基于自組織網(wǎng)絡(luò)和膠質(zhì)細(xì)胞鏈的改進(jìn)受限玻爾茲曼機(jī)模型，并提出了對(duì)應(yīng)的改進(jìn)訓(xùn)練算法，進(jìn)一步提高學(xué)習(xí)效率，獲取更優(yōu)秀的圖像特征。
　　3.深度學(xué)習(xí)方法應(yīng)用廣泛，本文主要研究了受限玻爾茲曼機(jī)及其改進(jìn)結(jié)構(gòu)組成的深度網(wǎng)絡(luò)在圖像分類上的應(yīng)用，通過(guò)在三個(gè)標(biāo)準(zhǔn)圖像數(shù)據(jù)集上的大量實(shí)驗(yàn)，以及在人臉識(shí)別中的實(shí)際應(yīng)用，測(cè)試并驗(yàn)證所提出的改進(jìn)模型的分類準(zhǔn)確率，收斂速度，并嘗試調(diào)整相關(guān)人工參數(shù)，以適應(yīng)圖像分類及識(shí)別應(yīng)用任務(wù)，達(dá)到其最優(yōu)