版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
1、受人體大腦中深度體系的啟發(fā),幾十年來人工神經(jīng)網(wǎng)絡(luò)研究者試圖訓(xùn)練一個深度多層人工神經(jīng)網(wǎng)絡(luò),都以失敗而告終。2006年深度體系方面的研究有了突破性進(jìn)展:多倫多大學(xué)的Hinton教授和他的同事提出了深度信念網(wǎng)絡(luò)模型,這個模型通過使用自底向上的基于貪婪策略的非監(jiān)督預(yù)處理,使得深度體系的訓(xùn)練在一定程度上避免陷入局部極值。自此之后,各種基于自動編碼和受限制的玻爾茲曼機的深度體系模型相繼被提出。這些深度體系模型已經(jīng)成功應(yīng)用于數(shù)字識別、語音識別、文本分
2、類、信息檢索等眾多領(lǐng)域。因為RBM(受限制的玻爾茲曼機)模型生成的數(shù)據(jù)表達(dá)比原始數(shù)據(jù)要好,現(xiàn)階段大部分深度體系的預(yù)處理都是用RBM模型實現(xiàn)的。然而,最近一些學(xué)者將RBM作為一個獨立的分類器進(jìn)行了分析,并且通過將生成型RBM和判別型RBM結(jié)合S實現(xiàn)半監(jiān)督學(xué)習(xí)算法。自此,RBM作為一個獨立的模型已經(jīng)成功應(yīng)用于眾多領(lǐng)域。
用于分類的RBM模型可以看成擁有輸入層、隱藏層和輸出層三層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。用于分類的RBM模型的訓(xùn)練過程可以看作
3、數(shù)據(jù)降維的過程,高維數(shù)據(jù)映射到低維數(shù)據(jù)過程中,數(shù)據(jù)之間的內(nèi)蘊結(jié)構(gòu)有沒有保持不變,用于分類的RBM并不能保證這一點,基于監(jiān)督學(xué)習(xí)的平滑性假設(shè)理論,我們引入正則項,讓降維過程能更加平滑。最近,用半監(jiān)督學(xué)習(xí)解決標(biāo)記數(shù)據(jù)過少問題成為一個研究熱點,本文通過將RBM模型與EM算法結(jié)合來解決這個問題,同時,將統(tǒng)計學(xué)習(xí)和流行學(xué)習(xí)相結(jié)合實現(xiàn)RBM的半監(jiān)督學(xué)習(xí),也就是通過把流行學(xué)習(xí)誘導(dǎo)出來的目標(biāo)函數(shù)作為一個正則項添加到RBM的優(yōu)化準(zhǔn)則中,形成一個新的模型:
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 基于隱變量模型的深度學(xué)習(xí)特征泛化研究.pdf
- 基于深度變化的磁場正則化下延方法研究.pdf
- 基于深度學(xué)習(xí)模型的圖像分類研究.pdf
- 基于深度學(xué)習(xí)的癌癥分類模型研究.pdf
- 基于深度學(xué)習(xí)和社交關(guān)系正則化的混合協(xié)同過濾推薦算法.pdf
- 基于深度學(xué)習(xí)的問題分類組合模型研究.pdf
- 基于深度變化的重力位場正則化下延方法研究.pdf
- 基于深度學(xué)習(xí)的課程推薦與學(xué)習(xí)預(yù)測模型研究.pdf
- 基于正則化方法的圖像去噪模型的研究.pdf
- 基于無界抽樣的正則化回歸學(xué)習(xí)算法的研究.pdf
- 基于深度學(xué)習(xí)的中文分詞模型應(yīng)用研究.pdf
- 基于深度學(xué)習(xí)的醫(yī)學(xué)圖像標(biāo)注模型構(gòu)建研究.pdf
- 基于圖像先驗?zāi)P偷恼齽t化圖像復(fù)原方法研究.pdf
- 基于正則化線性統(tǒng)計模型的文本分類研究.pdf
- 基于GPU的深度學(xué)習(xí)算法并行化研究.pdf
- 基于深度學(xué)習(xí)混合模型的文本分類研究.pdf
- 基于流形正則化超限學(xué)習(xí)機的入侵檢測研究.pdf
- 基于深度學(xué)習(xí)的短時交通擁堵預(yù)測模型.pdf
- 基于正則表達(dá)式的深度包檢測研究.pdf
- 基于正則化模型的超分辨率圖像算法研究.pdf
評論
0/150
提交評論