文本分類和聚類若干模型的研究.pdf

1、隨著互聯(lián)網(wǎng)上文本數(shù)據(jù)的持續(xù)暴漲式增長,文本挖掘這種在大規(guī)模數(shù)據(jù)情況下能有效組織和管理文本信息的工具得到了廣泛的研究和應(yīng)用。本文分別針對文本挖掘中分類和聚類的幾個問題提出了改進模型。
　　 對于有監(jiān)督學(xué)習(xí)中的文本分類問題,傳統(tǒng)分類方法在類別較少時能表現(xiàn)較好的效果,但遇到類別較多且類別間存在著復(fù)雜關(guān)系時其效果不盡人意?！吧顚臃诸悺蹦Ｐ褪且环N解決大規(guī)模文本層次分類問題的有效框架,它由搜索和分類兩階段組成,其中搜索階段用于選擇與測試文檔

2、相關(guān)的若干個候選類別,分類階段則是通過對這些候選類別訓(xùn)練更加精確的分類器進行最終分類。本文基于該框架提出一種改進型模型,首先將一種新方法用于單獨評價搜索階段的效果;然后利用類別和文檔信息共同選擇候選類別;最后基于類中心訓(xùn)練Rocchio分類器,同時還利用相關(guān)類別的分類結(jié)果確定最終類別。
　　 對于無監(jiān)督學(xué)習(xí)中的文本聚類問題,準確高效地度量文本間的相關(guān)性是其重要任務(wù)。傳統(tǒng)方法直接計算文檔間的統(tǒng)計相關(guān)性,而沒有考慮相鄰文檔的影響。本

3、文使用了Markov網(wǎng)絡(luò)模型表示文本集中文檔關(guān)系,該方法不僅考慮文檔間的直接相關(guān)性還考慮了各自鄰域?qū)ζ涿枋龅挠绊?并將該方法用于文檔聚類中,通過構(gòu)造Markov網(wǎng)絡(luò)并加權(quán)結(jié)合各步轉(zhuǎn)移矩陣,使得類內(nèi)數(shù)據(jù)相關(guān)性描述更大,類間數(shù)據(jù)相關(guān)性描述更小,最后利用這種相關(guān)性描述差距明顯的關(guān)系矩陣進行聚類。
　　 本文的工作主要包括以下兩點:
　　 1)系統(tǒng)地研究了大規(guī)模文本分類中的方法和應(yīng)用,并針對深層分類模型提出了一種結(jié)合相關(guān)類別的大