基于Markov隨機(jī)游走的漸進(jìn)式半監(jiān)督文本分類研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)以及數(shù)據(jù)存儲(chǔ)技術(shù)的迅猛發(fā)展,科學(xué)研究以及社會(huì)生活等領(lǐng)域都積累了大量的數(shù)據(jù),對(duì)這些數(shù)據(jù)進(jìn)行分析和挖掘得到其所蘊(yùn)含的有用信息,成為幾乎所有領(lǐng)域的共同需求。傳統(tǒng)的機(jī)器學(xué)習(xí)方法通常只利用有標(biāo)簽數(shù)據(jù)或者只利用未標(biāo)記數(shù)據(jù),而在實(shí)際問(wèn)題中往往是兩者并存,如何有效利用這些數(shù)據(jù)成為幾乎所有領(lǐng)域關(guān)注的問(wèn)題。作為能有效解決這個(gè)問(wèn)題的關(guān)鍵技術(shù),半監(jiān)督學(xué)習(xí)引起了機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘界的高度重視。
　　根據(jù)學(xué)習(xí)目的的不同半監(jiān)督學(xué)習(xí)大致可以分為半監(jiān)

2、督分類和半監(jiān)督聚類。其主要思想是在已標(biāo)記訓(xùn)練數(shù)據(jù)集較少的情況下,如何結(jié)合大量的未標(biāo)記數(shù)據(jù)來(lái)改善學(xué)習(xí)性能,本文中探討的是半監(jiān)督分類。
　　基于Markov的隨機(jī)游走算法,可用概率的形式表示低維數(shù)據(jù)的結(jié)構(gòu)信息,同時(shí)具有非常強(qiáng)大的學(xué)習(xí)功能,因而被廣泛地應(yīng)用于半監(jiān)督學(xué)習(xí)問(wèn)題中。本文首先提出了一種基于Markov隨機(jī)游走的半監(jiān)督文本分類模型(簡(jiǎn)稱為SMRW),該模型對(duì)傳統(tǒng)的基于Markov隨機(jī)游走的分類模型進(jìn)行了改進(jìn)。在隨機(jī)游走過(guò)程中,計(jì)算

3、待標(biāo)注數(shù)據(jù)到各類的遷移概率時(shí),只考慮相應(yīng)類別樣本的影響,而忽略其他類別樣本對(duì)隨機(jī)過(guò)程的影響,同時(shí)利用衰減函數(shù)來(lái)約束不同游走步數(shù)對(duì)遷移概率的影響,并在20newsgroups數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,該模型具有較好的分類性能。本文提出了一種基于Markov隨機(jī)游走的漸進(jìn)式半監(jiān)督分類模型,
　　在初始階段已標(biāo)記訓(xùn)練樣本較少時(shí),訓(xùn)練得到的分類器性能不高。且在Markov隨機(jī)游走迭代過(guò)程中,樣本的錯(cuò)分引起的誤差,會(huì)在后續(xù)的迭代中不