基于自動(dòng)編碼器的半監(jiān)督表示學(xué)習(xí)與分類學(xué)習(xí)研究.pdf

1、近年來，以深度學(xué)習(xí)為代表的自動(dòng)編碼器表示學(xué)習(xí)在機(jī)器學(xué)習(xí)預(yù)測和識別領(lǐng)域取得了顯著的成就。在現(xiàn)階段以自動(dòng)編碼器為基礎(chǔ)的表示學(xué)習(xí)研究中，大部分學(xué)習(xí)采用兩階段的學(xué)習(xí)框架，第一階段為無監(jiān)督的特征學(xué)習(xí)過程，第二階段為有監(jiān)督分類學(xué)習(xí)。在此過程中，為了適應(yīng)訓(xùn)練數(shù)據(jù)，在第一階段繼承了特征學(xué)習(xí)良好性能的初始模型權(quán)重將在第二階段的監(jiān)督學(xué)習(xí)過程中，由于沒有對原本特征的表示約束而發(fā)生改變。也就是說，第二階段的有監(jiān)督學(xué)習(xí)會降低第一階段無監(jiān)督特征學(xué)習(xí)的學(xué)習(xí)效果。同時(shí)

2、第一階段特征學(xué)習(xí)并未用到任何監(jiān)督學(xué)習(xí)的信息，削弱了第二步監(jiān)督學(xué)習(xí)時(shí)目標(biāo)信息對于非監(jiān)督學(xué)習(xí)的啟示性為了充分發(fā)揮特征學(xué)習(xí)和監(jiān)督學(xué)習(xí)的優(yōu)勢，本文針對兩階段學(xué)習(xí)框架會導(dǎo)致特征學(xué)習(xí)的效果會被削弱的缺點(diǎn)，提出了一種同時(shí)進(jìn)行特征學(xué)習(xí)和有監(jiān)督的分類學(xué)習(xí)的聯(lián)合框架。同時(shí)在此框架的基礎(chǔ)上，本文提出了半監(jiān)督自動(dòng)編碼器模型——一種基于自動(dòng)編碼器的半監(jiān)督學(xué)習(xí)分類模型，該模型不僅能確保在特征學(xué)習(xí)中得到的原始數(shù)據(jù)完整的“語義”信息，而且能在監(jiān)督學(xué)習(xí)中很好的適應(yīng)訓(xùn)練數(shù)

3、據(jù)。另外，根據(jù)本文提出的半監(jiān)督自動(dòng)編碼器模型，文章提出了求解該模型的BP算法，該算法將特征學(xué)習(xí)參數(shù)和分類學(xué)習(xí)參數(shù)同時(shí)進(jìn)行優(yōu)化，然后分別通過梯度下降方法對模型中的分類器和自動(dòng)編碼器的參數(shù)進(jìn)學(xué)習(xí)。
　　實(shí)驗(yàn)部分，本文使用MNIST數(shù)據(jù)集對分離學(xué)習(xí)框架和聯(lián)合學(xué)習(xí)框架中，第一階段特征參數(shù)的變化情況進(jìn)行可視化驗(yàn)證，說明改進(jìn)模型對特征學(xué)習(xí)效果的保證。同時(shí)使用了UCI機(jī)器學(xué)習(xí)數(shù)據(jù)庫的四個(gè)公共數(shù)據(jù)集——圖像分割數(shù)據(jù)集（Image），約翰霍普金斯大

4、學(xué)的電離層數(shù)據(jù)集(Ionosphere)，孤立的字母語音識別數(shù)據(jù)集(Isolet)和圖像識別數(shù)據(jù)集(Lird)進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)中運(yùn)用邏輯回歸模型（LogisticRegression，LR）與分離學(xué)習(xí)模型（DisjointLearningModel，DLM）作為基準(zhǔn)方法與本文提出的半監(jiān)督自動(dòng)編碼器模型（Semi-SupervisedAuto-Encoder，SSA）進(jìn)行比較，從分類的準(zhǔn)確性、隱層神經(jīng)元數(shù)量對分類效果影響、以及迭代次數(shù)、訓(xùn)練