基于復(fù)雜網(wǎng)絡(luò)理論的文本聚類和關(guān)鍵詞提取方法研究.pdf

1、隨著信息技術(shù)的高速發(fā)展,文本信息的數(shù)量正以幾何速度飛速增加,如何在這些海量的文本信息中快速的獲得自己有用的信息,并且合理的管理和使用這些文本信息,已經(jīng)成為當(dāng)今亟待解決的問題。合理的利用數(shù)據(jù)挖掘技術(shù),能夠有效的解決這一問題。
　　 文本聚類和文本關(guān)鍵詞提取是文本挖掘領(lǐng)域中重要的研究?jī)?nèi)容。文本聚類將文本集分成若干個(gè)類,要求同一類中的文本之間相似度較大,而不同類的文本之間的相似度較小。文本聚類作為一種無監(jiān)督的機(jī)器學(xué)習(xí)方法,不需要訓(xùn)練集

2、,不需要事先知道聚類個(gè)數(shù),因此具有一定的靈活性和現(xiàn)實(shí)性。文本關(guān)鍵詞提取是處理文本信息的重要技術(shù)之一,是文本自動(dòng)分類、自動(dòng)聚類、自動(dòng)摘要生成等文本信息處理的前提和基礎(chǔ)。
　　 本文介紹了文本聚類和文本關(guān)鍵詞提取的研究背景、研究意義、國(guó)內(nèi)外研究現(xiàn)狀和相關(guān)的理論知識(shí)。本文在總結(jié)之前國(guó)內(nèi)外經(jīng)典的文本聚類和關(guān)鍵詞提取研究的基礎(chǔ)上,分別提出了文本聚類和文本關(guān)鍵詞提取的新方法,具體工作包括以下兩個(gè)方面:
　　 1.提出一種基于復(fù)雜網(wǎng)絡(luò)

3、社團(tuán)劃分的文本聚類方法,首先提出了一種加權(quán)復(fù)雜網(wǎng)絡(luò)社團(tuán)劃分的新算法,通過不斷尋找復(fù)雜網(wǎng)絡(luò)中的稠密集并對(duì)其進(jìn)行適當(dāng)操作,達(dá)到了劃分加權(quán)復(fù)雜網(wǎng)絡(luò)的目的。其次將該算法應(yīng)用于文本聚類,將文本用向量空間模型表示,用余弦公式計(jì)算文本之間的相似度,根據(jù)鄰居節(jié)點(diǎn)構(gòu)造出加權(quán)復(fù)雜網(wǎng)絡(luò),用本文提出的算法對(duì)加權(quán)復(fù)雜網(wǎng)絡(luò)進(jìn)行社團(tuán)劃分。最后,對(duì)Reuters-21578數(shù)據(jù)集中的部分樣本進(jìn)行聚類,實(shí)驗(yàn)表明該方法具有良好的聚類效果。
　　 2.提出一種基于加