基于相關性分析的自動編碼器結構優(yōu)化研究.pdf

1、深度學習作為一個出色的機器學習模型，一經(jīng)提出就引起了研究人員極大的興趣。并在最近幾年學術界與工業(yè)界的大力研究發(fā)展以后，已經(jīng)成功應用于諸多領域，比如自然語言處理、圖像識別、推薦系統(tǒng)和語音識別等。總體而言，深度學習是對早期神經(jīng)網(wǎng)絡模型的擴展和改進，對應不同的應用場景，深度學習的網(wǎng)絡結構也各有不同。在各種具體的深度學習網(wǎng)絡模型中，自動編碼器是一個相對比較基礎的網(wǎng)絡模型，因為該模型可以很好地應用于數(shù)據(jù)壓縮和數(shù)據(jù)降維等領域，所以同樣吸引了不少學者

2、的研究興趣。然而自動編碼器的降維性能或者說是編碼性能，即將原本高維的圖像數(shù)據(jù)用經(jīng)過網(wǎng)絡處理以后的低維數(shù)據(jù)來表示，與其網(wǎng)絡結構有著直接的相關性，不同的數(shù)據(jù)集會存在一個對應該數(shù)據(jù)集的最優(yōu)網(wǎng)絡結構以使降維（編碼）效果達到最優(yōu)。選取一個與輸入數(shù)據(jù)集不匹配的網(wǎng)絡結構，比如網(wǎng)絡節(jié)點太多或者太少，都會造成模型訓練時間太長浪費大量計算機資源，或者降維效果不理想重構誤差太大等問題。所以對應不同數(shù)據(jù)集，自動編碼器的最優(yōu)網(wǎng)絡選取是非常重要的。自動編碼器屬于前

3、饋神經(jīng)網(wǎng)絡模型，對于前饋神經(jīng)網(wǎng)絡的結構優(yōu)化有暴力法、修剪法、網(wǎng)絡構建算法和遺傳算法等現(xiàn)已提出的算法，但這些算法普遍適用于網(wǎng)絡結構較為簡單的早期神經(jīng)網(wǎng)絡模型，并具有計算復雜度高或者收斂速度慢等缺點。所以如何自適應地確定自動編碼器這類具有大量網(wǎng)絡節(jié)點和多個隱藏層的深度學習網(wǎng)絡模型的最佳結構仍然是一個急需解決的問題。本文提出了一種基于網(wǎng)絡節(jié)點權重相關性分析的方法來確定自動編碼器的近似最優(yōu)網(wǎng)絡結構，同時提出的方法也適用于與自動編碼器類似的其他深