面向網(wǎng)頁內(nèi)容的K-means聚類算法的研究.pdf

1、近年來，隨著Internet的飛速發(fā)展和生活中信息化水平不斷提高，數(shù)據(jù)資源呈爆炸式增長，導致獲取目的信息困難，信息的利用率降低，而高維數(shù)據(jù)日益成為主流，所以在實際的聚類應(yīng)用中，對高維數(shù)據(jù)聚類方法的研究有著越來越重要的意義。但高維數(shù)據(jù)本身獨有的一些特點，使得高維數(shù)據(jù)挖掘變的非常困難，因此必須采用一些特殊的方法進行研究處理。本文研究聚類的對象是網(wǎng)頁內(nèi)容，是一種典型的高維聚類。從聚類的概念及高維數(shù)據(jù)的特點入手，圍繞著高維空間相似性度量、權(quán)重表

2、示和降低“噪音”特征屬性影響這個三個問題，進行了研究和改進。
　　由于文本數(shù)據(jù)的高維特征，適用于低維空間的相似度度量方法往往失效，對此本文采用一種適合文本數(shù)據(jù)高維和稀疏特征的Nsim()相似度度量方法。實驗證明這種相似度度量方法在高維空間中，仍能具有較好的穩(wěn)定性和分辨性。特征的權(quán)重表示形成空間向量模型是具有決定性作用，從而對聚類結(jié)果有很大影響。HTML文件的標簽信息對于網(wǎng)頁的類別歸屬比一般特征屬性具有更重要的作用，據(jù)此，本文提出了

3、一種適合網(wǎng)頁的改進TF-IDF權(quán)重計算方法。
　　K-means方法是一種典型的基于劃分的快速聚類算法，傳統(tǒng)K-means算法的k個簇中心點的初始選擇是隨機的，這就往往使得聚類的結(jié)果不穩(wěn)定，聚類效果沒有保證。本文對中心點的確定提出改進，通過最大最小規(guī)則計算中心點。為了使K-means算法能夠降低網(wǎng)頁內(nèi)容中“噪音”屬性對聚類結(jié)果產(chǎn)生的負面影響，本文在聚類過程中，融入空間模型修正方法，通過使用一種比較全面的特征屬性度量方法，進行特征屬