基于深度玻爾茲曼機的特征學習算法研究.pdf

1、近幾年來，深度學習在圖像、語音、視頻等非結構化數(shù)據(jù)領域中獲得了前所未有的成功，已成為人工智能和機器學習研究的熱點。深層網(wǎng)絡的優(yōu)越性主要體現(xiàn)在更豐富表述信息的特征且具有更大的知識表示空間對客觀世界進行表示。
　　伴隨著大數(shù)據(jù)的到來，數(shù)據(jù)的獲取變得更加容易，數(shù)據(jù)的格式也花樣輩出，其學習的模型結構也越來越復雜，針對深度學習模型算法效率的提升的研究越來越受到關注?，F(xiàn)如今常用的深層網(wǎng)絡模型中，深度信念網(wǎng)絡(Deep Belief Netwo

2、rks，DBN)是較為成熟的模型，它是由多個受限波爾茲曼機堆疊而成，通過隱藏層逐層向上抽取使信息能更抽象表達，故深層網(wǎng)絡對輸入有更好的描述能力。海量的數(shù)據(jù)可以使其深度學習模型的學習算法特征提取性能不斷提高，所以在算法提升方面的研究顯得尤為重要。
　　深度學習本質上仍然屬于監(jiān)督學習模型。通過大量的訓練實例來不斷的訓練神經(jīng)元之間的權重，最終使得整個神經(jīng)網(wǎng)絡按照最大的概率來生成訓練數(shù)據(jù)，成功的深度學習應用往往要求較大的高質量的訓練集。由

3、于原始數(shù)據(jù)存在的錯誤和不規(guī)范，在現(xiàn)實中往往還需要對數(shù)據(jù)進行預處理。在當今大數(shù)據(jù)時代，這個預處理工作往往占據(jù)了全部項目的大部分時間和資源，大大限制了深度學習的實際應用。
　　本文主要貢獻在于:
　　1.提出了一種新的基于深度置信網(wǎng)絡模型學習算法改進，能夠使模型提取特征的效率提高，使模型能更優(yōu)的描述數(shù)據(jù)集的幾何表示。在向上逐層貪婪算法中加入閾值來選擇性的更新全局參數(shù)。在反向傳播微調算法中在微調后期對網(wǎng)絡最高層和最高N層的參數(shù)周期

4、性更新迭代，這兩種形式相結合來提高學習效率，減少模型的學習時間，并在最終的特征提取的效果上與改進前幾乎相同。
　　2.針對特定假設條件下，引入了半監(jiān)督的思想來解決一些特殊數(shù)據(jù)集的原始標識缺失導致的模型初始訓練困難，這樣能更有效的解決現(xiàn)實中時間和資源的浪費。結合半監(jiān)督學習的思想，使用較少的訓練集提高深度網(wǎng)絡模型的分類準確性顯得尤為重要。由于改進學習算法的方式有很多，其核心都是訓練合適的權重使得整個網(wǎng)絡的能量盡可能得達到最大值。