基于SAE-LBP網(wǎng)頁(yè)分類(lèi)的研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)頁(yè)的數(shù)目呈現(xiàn)井噴狀增加，也預(yù)示著大數(shù)據(jù)時(shí)代的到來(lái)。雜亂、大量的網(wǎng)頁(yè)文本，增加了人們對(duì)信息的查找與過(guò)濾的難度。為了方便對(duì)網(wǎng)頁(yè)文本的檢索與挖掘，對(duì)網(wǎng)頁(yè)文本的分類(lèi)就顯得十分重要。
　　一般地，網(wǎng)頁(yè)分類(lèi)器采用了支持向量機(jī)(Support Vector Machine，SVM)、后向傳播(Back Propagation，BP)神經(jīng)網(wǎng)絡(luò)和Naive Bayes等傳統(tǒng)分類(lèi)算法，并通過(guò)信息增益、互信息和最大熵等模型進(jìn)行特征選

2、擇。其中，信息增益取得了較好的性能，但是，信息增益的閾值很難確定。此外，BP神經(jīng)網(wǎng)絡(luò)在高層次應(yīng)用中，表現(xiàn)出了容易陷入局部極小值、對(duì)復(fù)雜函數(shù)泛化能力較差、訓(xùn)練效率較低等問(wèn)題。針對(duì)這些問(wèn)題，本文結(jié)合稀疏自動(dòng)編碼器(Sparse Auto-Encoder，SAE)和LBP(Layer-wise Back Propagation)神經(jīng)網(wǎng)絡(luò)，提出一種基于SAE-LBP的網(wǎng)頁(yè)分類(lèi)器。本文主要工作如下:
　　1.根據(jù)網(wǎng)頁(yè)文本的半結(jié)構(gòu)化特征，改進(jìn)

3、了文本特征表示的權(quán)重計(jì)算，相對(duì)于傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)，提升了分類(lèi)準(zhǔn)確率1％左右。本文通過(guò)統(tǒng)計(jì)特定數(shù)據(jù)集各個(gè)標(biāo)簽出現(xiàn)的數(shù)量，并結(jié)合各個(gè)標(biāo)簽的作用進(jìn)行分析，對(duì)HTML標(biāo)簽進(jìn)行分類(lèi)并設(shè)置權(quán)重。
　　2.針對(duì)網(wǎng)頁(yè)文本的稀疏特性，采用SAE對(duì)網(wǎng)頁(yè)文本進(jìn)行高層次地特征選擇，相對(duì)于傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)，提升了分類(lèi)準(zhǔn)確率4％左右。SAE通過(guò)在BP神經(jīng)網(wǎng)絡(luò)模型加入了稀疏性表示，更好地描述了網(wǎng)頁(yè)文本的稀疏特性。SAE通過(guò)在BP神經(jīng)網(wǎng)絡(luò)模型加入了對(duì)參數(shù)的懲

4、罰，有效地避免了過(guò)擬合問(wèn)題。
　　3.針對(duì)BP神經(jīng)網(wǎng)絡(luò)的梯度下降算法中的傳統(tǒng)學(xué)習(xí)率自動(dòng)調(diào)整容易震蕩、調(diào)整過(guò)慢等問(wèn)題，改進(jìn)了傳統(tǒng)的學(xué)習(xí)率自動(dòng)調(diào)整算法，相對(duì)于傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)，提升了時(shí)間性能40％～60％。算法通過(guò)設(shè)置一個(gè)下限，避免了學(xué)習(xí)率調(diào)整次數(shù)過(guò)多問(wèn)題。另外，在誤差上升頻率過(guò)大時(shí)，及時(shí)降低學(xué)習(xí)率，避免了迭代的震蕩。算法還通過(guò)設(shè)置一個(gè)上限，防止下次迭代就遭遇誤差上升。
　　4.針對(duì)BP神經(jīng)網(wǎng)絡(luò)采用隨機(jī)初始化值不易于快速收斂的

5、問(wèn)題，采用LBP神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行疊加訓(xùn)練，相對(duì)于傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)，有效地提升時(shí)間性能40％～60％。LBP神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法從3層開(kāi)始，疊加訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)，直到目標(biāo)層數(shù)。預(yù)訓(xùn)練低層次BP神經(jīng)網(wǎng)絡(luò)時(shí)，將低層次參數(shù)逼近最優(yōu)值。疊加預(yù)訓(xùn)練只需要迭代有限次數(shù)即可，不需要訓(xùn)練到BP神經(jīng)網(wǎng)絡(luò)完全收斂。采用LBP神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法，使得低層次的BP神經(jīng)網(wǎng)絡(luò)參數(shù)更加地接近最優(yōu)值，避免了不必要的迭代。
　　基于SAE-LBP的網(wǎng)頁(yè)