基于Markov隨機游走的漸進式半監(jiān)督文本分類研究.pdf

1、隨著互聯(lián)網技術以及數(shù)據(jù)存儲技術的迅猛發(fā)展,科學研究以及社會生活等領域都積累了大量的數(shù)據(jù),對這些數(shù)據(jù)進行分析和挖掘得到其所蘊含的有用信息,成為幾乎所有領域的共同需求。傳統(tǒng)的機器學習方法通常只利用有標簽數(shù)據(jù)或者只利用未標記數(shù)據(jù),而在實際問題中往往是兩者并存,如何有效利用這些數(shù)據(jù)成為幾乎所有領域關注的問題。作為能有效解決這個問題的關鍵技術,半監(jiān)督學習引起了機器學習和數(shù)據(jù)挖掘界的高度重視。
　　根據(jù)學習目的的不同半監(jiān)督學習大致可以分為半監(jiān)

2、督分類和半監(jiān)督聚類。其主要思想是在已標記訓練數(shù)據(jù)集較少的情況下,如何結合大量的未標記數(shù)據(jù)來改善學習性能,本文中探討的是半監(jiān)督分類。
　　基于Markov的隨機游走算法,可用概率的形式表示低維數(shù)據(jù)的結構信息,同時具有非常強大的學習功能,因而被廣泛地應用于半監(jiān)督學習問題中。本文首先提出了一種基于Markov隨機游走的半監(jiān)督文本分類模型(簡稱為SMRW),該模型對傳統(tǒng)的基于Markov隨機游走的分類模型進行了改進。在隨機游走過程中,計算

3、待標注數(shù)據(jù)到各類的遷移概率時,只考慮相應類別樣本的影響,而忽略其他類別樣本對隨機過程的影響,同時利用衰減函數(shù)來約束不同游走步數(shù)對遷移概率的影響,并在20newsgroups數(shù)據(jù)集上進行了實驗,實驗結果表明,該模型具有較好的分類性能。本文提出了一種基于Markov隨機游走的漸進式半監(jiān)督分類模型,
　　在初始階段已標記訓練樣本較少時,訓練得到的分類器性能不高。且在Markov隨機游走迭代過程中,樣本的錯分引起的誤差,會在后續(xù)的迭代中不