基于特征加權(quán)的半監(jiān)督文本聚類研究.pdf

1、隨著計(jì)算機(jī)技術(shù)和信息網(wǎng)絡(luò)技術(shù)的發(fā)展,社會(huì)信息量急劇增加,數(shù)據(jù)庫(kù)的規(guī)模日益擴(kuò)大,數(shù)據(jù)庫(kù)的數(shù)據(jù)總量及容量也急劇膨脹,這些廣闊的領(lǐng)域?yàn)榫垲惙治龇椒ǖ膽?yīng)用以及聚類分析的研究提供了寬廣的舞臺(tái)。在很多實(shí)際應(yīng)用中,我們?cè)诘玫綌?shù)據(jù)的同時(shí),還能得到一些與這些數(shù)據(jù)相關(guān)的先驗(yàn)知識(shí),然而在傳統(tǒng)聚類分析過(guò)程中,算法在對(duì)樣本集進(jìn)行聚類時(shí)并未考慮這些先驗(yàn)知識(shí)。半監(jiān)督聚類算法就是研究無(wú)監(jiān)督學(xué)習(xí)中如何利用少量的監(jiān)督信息來(lái)提高聚類的性能。
　　 半監(jiān)督聚類是近幾年

2、機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)新的研究方向,也是數(shù)據(jù)挖掘的一個(gè)重要分支,逐步成為許多領(lǐng)域的有用工具。然而目前在半監(jiān)督聚類的研究中,尤其是當(dāng)少量標(biāo)記數(shù)據(jù)不足以反映大量無(wú)標(biāo)記數(shù)據(jù)所蘊(yùn)含的完整的聚類結(jié)構(gòu)時(shí),其聚類效果并不好。
　　 論文首先介紹了半監(jiān)督聚類的研究背景、研究現(xiàn)狀以及研究意義,簡(jiǎn)單的講述了常用的聚類方法、目前用的比較多的幾種特征選擇指標(biāo)、以及評(píng)價(jià)準(zhǔn)則等等。重點(diǎn)介紹了三種半監(jiān)督聚類算法:基于搜索的半監(jiān)督聚類、基于相似度的半監(jiān)督聚類、基于

3、搜索和相似度的半監(jiān)督聚類。尤其是基于約束的K-means半監(jiān)督聚類,本文對(duì)其進(jìn)行了簡(jiǎn)單的介紹并用實(shí)驗(yàn)證明了該算法。
　　 其次為了提高半監(jiān)督聚類算法的準(zhǔn)確率,本文對(duì)基于約束的K-means算法進(jìn)行了改進(jìn),將特征加權(quán)引入半監(jiān)督聚類過(guò)程中,使得類內(nèi)間的文檔相似度更大,并用實(shí)驗(yàn)驗(yàn)證了不同特征加權(quán)指標(biāo)對(duì)算法的影響。我們不僅在單語(yǔ)言數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)來(lái)證明這一算法的有效性,還在中、英雙語(yǔ)數(shù)據(jù)集上進(jìn)行了只包含中文或英文類標(biāo)時(shí)的聚類實(shí)驗(yàn)。實(shí)驗(yàn)