基于稀疏貝葉斯的半監(jiān)督超限學(xué)習(xí)機(jī)分類算法研究.pdf

1、如何有效地挖掘和學(xué)習(xí)海量的無(wú)標(biāo)記數(shù)據(jù)中的規(guī)律，讓用戶快速找到需要的信息，是當(dāng)前機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)研究熱點(diǎn)。半監(jiān)督學(xué)習(xí)利用少量標(biāo)記數(shù)據(jù)和大量無(wú)標(biāo)記數(shù)據(jù)的綜合信息來(lái)提高分類算法的準(zhǔn)確率，引起了學(xué)術(shù)界的廣泛關(guān)注。然而傳統(tǒng)半監(jiān)督分類算法的計(jì)算復(fù)雜度較高，通常為O(N3)，N為輸入樣本的個(gè)數(shù)，如拉普拉斯支持向量機(jī)。超限學(xué)習(xí)機(jī)是一種單隱層前饋神經(jīng)網(wǎng)絡(luò)，具有較低的計(jì)算復(fù)雜度。為了提高半監(jiān)督算法的計(jì)算效率，人們將半監(jiān)督學(xué)習(xí)引入到超限學(xué)習(xí)機(jī)框架中，提出了

2、半監(jiān)督超限學(xué)習(xí)機(jī)。半監(jiān)督超限學(xué)習(xí)機(jī)繼承了傳統(tǒng)超限學(xué)習(xí)機(jī)的速度優(yōu)勢(shì)，又能充分利用無(wú)標(biāo)記樣本信息。但是，半監(jiān)督超限學(xué)習(xí)機(jī)的分類準(zhǔn)確率對(duì)隱層節(jié)點(diǎn)的數(shù)目比較敏感，在特定問(wèn)題上為取得較好的分類準(zhǔn)確率通常需要使用大量的冗余隱層節(jié)點(diǎn)，增加了模型的復(fù)雜度。
　　本文針對(duì)半監(jiān)督超限學(xué)習(xí)機(jī)在稀疏性和分類準(zhǔn)確率上的不足，在稀疏貝葉斯和半監(jiān)督超限學(xué)習(xí)機(jī)框架的基礎(chǔ)上，提出一種基于稀疏貝葉斯的半監(jiān)督超限學(xué)習(xí)機(jī)分類算法。為了利用無(wú)標(biāo)記樣本數(shù)據(jù)的流形(Manif

3、old)信息，同時(shí)使模型更加稀疏，該算法在網(wǎng)絡(luò)輸出層的權(quán)值參數(shù)上定義稀疏流形先驗(yàn)。模型在訓(xùn)練階段自適應(yīng)地剔除冗余的隱層節(jié)點(diǎn)，該算法降低了模型的復(fù)雜度和分類準(zhǔn)確率對(duì)隱層節(jié)點(diǎn)數(shù)量的敏感性。在多個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明:與當(dāng)前主流的半監(jiān)督分類器相比，本文提出的算法可以取得較好的分類性能，同時(shí)彌補(bǔ)了半監(jiān)督超限學(xué)習(xí)機(jī)在稀疏性和穩(wěn)定性方面的缺陷。
　　綜上，本文的工作和貢獻(xiàn)主要體現(xiàn)在以下幾個(gè)方面:
　　(1)針對(duì)基于半監(jiān)督超限學(xué)習(xí)機(jī)框架

4、的分類算法在稀疏性和穩(wěn)定性上表現(xiàn)不足的問(wèn)題，本文通過(guò)稀疏貝葉斯學(xué)習(xí)方法來(lái)學(xué)習(xí)模型參數(shù)，在學(xué)習(xí)階段自動(dòng)剔除冗余隱層節(jié)點(diǎn)，增強(qiáng)半監(jiān)督超限學(xué)習(xí)機(jī)模型的稀疏性和穩(wěn)定性。因此，本文算法既具有半監(jiān)督超限學(xué)習(xí)機(jī)的速度優(yōu)勢(shì)，又具有稀疏貝葉斯學(xué)習(xí)算法的稀疏性。
　　(2)傳統(tǒng)半監(jiān)督超限學(xué)習(xí)機(jī)采用最小二乘求解模型參數(shù)，容易導(dǎo)致過(guò)擬合，本文算法通過(guò)最大化模型的邊際似然概率可以在一定程度上降低模型過(guò)擬合的可能性，增強(qiáng)模型的表達(dá)力，模型具有更好的魯棒性。<

5、br>　　(3)本文算法相比半監(jiān)督超限學(xué)習(xí)機(jī)具有較低的計(jì)算復(fù)雜度。本文算法的時(shí)間復(fù)雜度為O(L3+N log N)，其中L為隱層節(jié)點(diǎn)的個(gè)數(shù)，N為樣本數(shù)據(jù)的個(gè)數(shù)，N log N是構(gòu)造圖的拉普拉斯矩陣的時(shí)間復(fù)雜度，L3是計(jì)算權(quán)值參數(shù)w的時(shí)間復(fù)雜度。因此，相比半監(jiān)督超限學(xué)習(xí)機(jī)中O(N3)的時(shí)間復(fù)雜度，本文算法訓(xùn)練時(shí)間更短。
　　(4)在UCI1標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，相對(duì)對(duì)比算法，本文基于稀疏貝葉斯的半監(jiān)督超限學(xué)習(xí)機(jī)分類算法具有較好