基于密度峰值的一種文本聚類優(yōu)化算法的研究與實(shí)現(xiàn).pdf

1、物以類聚，人以群分。今天，面對互聯(lián)網(wǎng)上日益增長的數(shù)據(jù)，聚類在數(shù)字圖像處理、物種類別分析、網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)、信息安全監(jiān)測、企業(yè)商務(wù)智能決策和文本數(shù)據(jù)挖掘等領(lǐng)域得到了越來越廣泛的應(yīng)用。隨著“互聯(lián)網(wǎng)+”和大數(shù)據(jù)時代的到來，以K均值聚類為代表的傳統(tǒng)聚類算法迫切地需要在算法的收斂速度和聚類的質(zhì)量等方面進(jìn)行必要的發(fā)展。本文通過引入密度峰值概念，重點(diǎn)研究旨在快速聚類的聚類初始中心點(diǎn)的選擇技術(shù)，以及旨在提升聚類質(zhì)量的基于多密度峰值的聚類數(shù)目估計方法，進(jìn)而面

2、向聚類在文本處理中的應(yīng)用，實(shí)現(xiàn)了一種自動聚類算法。本文的主要成果如下：
　　（1）提出了一種基于密度峰值為初始中心選擇的快速聚類算法(CIPD)
　　首先，分析了聚類初始中心的隨機(jī)選擇可能導(dǎo)致無法獲得全局最優(yōu)解，聚類結(jié)果不穩(wěn)定，算法無法快速收斂等問題。本文基于聚類中心具有高密度，以及彼此之間距離較遠(yuǎn)的假設(shè)，提出了數(shù)據(jù)點(diǎn)成為聚類初始中心的潛在可能性指數(shù)R，并設(shè)計了一種聚類初始中心選擇方法(PD)。基于PD方法，本文結(jié)合K-me

3、ans，設(shè)計了一種快速聚類方法CIPD。該方法通過尋找數(shù)據(jù)點(diǎn)密度峰值的方式來尋找到初始聚類中心點(diǎn)，并結(jié)合K均值聚類更新這些中心點(diǎn)。在UCI公開四個數(shù)據(jù)集的測試結(jié)果表明，與傳統(tǒng)針對K均值聚類的初始中心選擇改進(jìn)的聚類算法比， CIPD上具有更高的精度和更快的收斂速度。
　　（2）提出了一種基于多密度峰值的聚類數(shù)目估計方法
　　研究發(fā)現(xiàn)密度峰值的個數(shù)與聚類數(shù)目是密切關(guān)聯(lián)的?；谶@一事實(shí)，本文提出了一種基于多密度峰值的自動發(fā)現(xiàn)聚類數(shù)

4、目K的算法CNSFDP。其主要思想為：首先，設(shè)計一個與密度峰值緊密相關(guān)的指數(shù)CS，具有越高CS指數(shù)的數(shù)據(jù)點(diǎn)越有可能一個成為密度峰值。接著，按照CS值的大小進(jìn)行排列，縱坐標(biāo)為CS值，橫坐標(biāo)為該CS值按大小順序排列的序數(shù)，會形成一條具有明顯拐點(diǎn)的曲線。此曲線拐點(diǎn)前的點(diǎn)含有高CS值，常常被視為密度峰值點(diǎn)。最后，利用最小二乘法等統(tǒng)計方法，可以尋找到這條曲線的拐點(diǎn)，并返回其橫坐標(biāo)值為聚類數(shù)目K。與其他針對聚類數(shù)目估計的算法相比，CNSFDP因其對

5、數(shù)據(jù)分布低要求，而可以應(yīng)用到呈復(fù)雜分布的數(shù)據(jù)集中，例如呈凹狀，環(huán)狀或者混合形狀等復(fù)雜數(shù)據(jù)分布類型。在六個公開的UCI數(shù)據(jù)集上的測試結(jié)果表明，相比于基于AIC、BIC、Gap測試等的聚類數(shù)目估計算法，該算法有更高的準(zhǔn)確率來發(fā)現(xiàn)聚類實(shí)際數(shù)目。
　　（3）基于上述成果，設(shè)計了一種面向文本數(shù)據(jù)的自動聚類模型
　　設(shè)計了一種自動聚類算法ACFDP?；贏CFDP，建立一種自動文本聚類模型。該模型首先通過分詞、去停用詞、建立向量空間模型