面向深度網(wǎng)絡(luò)的自編碼器研究.pdf

1、相比于淺層網(wǎng)絡(luò)，深度網(wǎng)絡(luò)擁有更為有效的函數(shù)表征能力，可以為高度非線性且高度變化的函數(shù)學習到一種緊湊的表示。深度學習算法通過預訓練和微調(diào)解決了深度網(wǎng)絡(luò)的訓練問題，使得它擁有了優(yōu)秀的泛化能力，因而被廣泛地應(yīng)用于諸多領(lǐng)域。作為一種無監(jiān)督的特征檢測模型，自編碼器常常被用來完成預訓練，從而能為深度網(wǎng)絡(luò)的訓練尋得一個較好的初始值。本文主要研究自編碼器在深度網(wǎng)絡(luò)中的應(yīng)用，通過改善自編碼器的性能以及充分利用預訓練過程中獲得的分層特征來提高深度網(wǎng)絡(luò)的分類

2、性能。
　　本文提出了基于平滑l1范數(shù)的稀疏自編碼器。從哺乳動物大腦視覺系統(tǒng)的感受野來看，為自編碼器引入稀疏性可以改善特征的性能。通常，自編碼器中稀疏性的產(chǎn)生來自于KL散度的引入，但稀疏表示理論認為，l1范數(shù)能夠誘導出很好的稀疏性。為了解決l1范數(shù)在零點不可導的問題，我們使用“inf-conv”平滑技術(shù)得到了該范數(shù)的平滑版本。實驗表明，使用基于平滑l1范數(shù)的稀疏自編碼器代替基于KL散度的稀疏自編碼器來完成預訓練，可以得到分類性能更