網(wǎng)絡(luò)文本信息聚類算法研究與應(yīng)用.pdf

1、隨著計算機網(wǎng)絡(luò)技術(shù)在全球范圍內(nèi)的迅速發(fā)展與普及，網(wǎng)絡(luò)信息資源日趨豐富且內(nèi)容復(fù)雜多樣，其中既有大量進步、健康的信息，也不乏反動、迷信的內(nèi)容。因此，如何對這樣龐大的信息資源進行快速有效的檢索分析，對網(wǎng)絡(luò)輿論進行準確的預(yù)測引導(dǎo)成為一個重要而迫切的研究課題。 于是，數(shù)據(jù)挖掘這門技術(shù)應(yīng)運而生，它以數(shù)據(jù)庫技術(shù)為基礎(chǔ)，融合統(tǒng)計學(xué)、機器學(xué)習(xí)、模糊學(xué)等多門學(xué)科的成果，研究如何從數(shù)據(jù)庫中提取隱含的、未知的有潛在應(yīng)用價值的信息或模式。聚類分析在這項技

2、術(shù)中占有重要的位置，它通過比較數(shù)據(jù)的相似性和差異性將一個數(shù)據(jù)集合分割成幾個稱為類的子集，從而發(fā)現(xiàn)數(shù)據(jù)信息的內(nèi)在特征和分布規(guī)律。 本論文在系統(tǒng)回顧網(wǎng)絡(luò)信息檢索、數(shù)據(jù)挖掘和聚類算法應(yīng)用研究現(xiàn)狀的基礎(chǔ)上，總結(jié)了目前通用的聚類算法存在的問題，試圖設(shè)計一種適用于中文網(wǎng)絡(luò)文本信息的聚類算法，并進而設(shè)計實現(xiàn)一個網(wǎng)絡(luò)信息聚類系統(tǒng)。 本論文的研究內(nèi)容和創(chuàng)新工作主要體現(xiàn)在以下幾點： （1）分析了幾種通用的聚類算法，包括基于劃分、基于

3、層次、基于密度、基于網(wǎng)格和基于模型聚類算法，通過實驗數(shù)據(jù)分析比較了幾種算法的性能和優(yōu)缺點，分析了它們在網(wǎng)絡(luò)信息聚類應(yīng)用中的缺陷。 （2）研究了中文網(wǎng)絡(luò)信息聚類應(yīng)用中的幾種關(guān)鍵技術(shù)，包括分詞技術(shù)、文本表示、特征降維、權(quán)重分析和相似度計算。 （3）引入二叉檢索樹對后綴樹聚類算法在中文網(wǎng)絡(luò)信息聚類中的應(yīng)用進行了研究和改進。 （4）對典型的k-平均算法、后綴樹聚類算法和改進后的算法進行實驗分析，在算法準確率和時間復(fù)雜度上