基于DBSCAN的文本聚類算法研究.pdf

1、隨著互聯(lián)網(wǎng)和信息技術(shù)的快速發(fā)展，在互聯(lián)網(wǎng)中每天都有數(shù)量巨大的信息產(chǎn)生和傳播，其中包含著大量的網(wǎng)頁文本信息，例如以新聞、博客等內(nèi)容形式存在的文本數(shù)據(jù)。文本挖掘技術(shù)作為數(shù)據(jù)挖掘的重要內(nèi)容，其旨在通過一定技術(shù)（文本預(yù)處理技術(shù)、特征項(xiàng)提取技術(shù)、文本聚類方法等）對海量的文本數(shù)據(jù)進(jìn)行有效提取，并發(fā)掘有用信息，而文本聚類方法則是文本挖掘技術(shù)中的重要組成部分，聚類算法的好壞直接影響著信息提取的質(zhì)量和效果。
　　近些年來，關(guān)于文本聚類技術(shù)的研究越來

2、越多，其中通過改進(jìn)各類經(jīng)典聚類算法，并運(yùn)用到文本聚類技術(shù)中是當(dāng)下學(xué)術(shù)研究的一個熱點(diǎn)。但是，目前絕大多數(shù)的研究主要集中在對一些基于劃分以及層次的經(jīng)典聚類算法的移植和改造，例如基于k-均值以及Single-Pass算法的文本聚類算法。眾所周知，密度聚類算法中的DBSCAN(Density-Based Spatial Clustering of Applications with Noise)方法對噪聲數(shù)據(jù)不是很敏感，并且擁有發(fā)現(xiàn)任意形狀聚類

3、的能力，而這一特性可以使得其文本聚類結(jié)果的質(zhì)量相較于其它方法更加優(yōu)良。本文針對DBSCAN方法特點(diǎn)進(jìn)行研究，使其能夠有效對文本數(shù)據(jù)實(shí)行聚類。首先，本文通過結(jié)合K-最近鄰方法提出了一種基于輸入?yún)?shù)確定的DBSCAN的文本聚類算法D-DBSCAN，該算法通過利用K-最近鄰方法得到數(shù)據(jù)集的最優(yōu)K值，通過該K值得到數(shù)據(jù)集的最優(yōu)特征空間，并在該特征空間下計(jì)算數(shù)據(jù)集的DBSCAN算法所需要的對象掃面半徑以及聚類最少包含對象數(shù)，使用以上依據(jù)數(shù)據(jù)集自身

4、產(chǎn)生的參數(shù)用于數(shù)據(jù)集運(yùn)行DBSCAN，從而規(guī)避了對DBSCAN方法經(jīng)驗(yàn)性提供初始參數(shù)而帶來的麻煩;其次，本文還提出了一種基于K-均值策略優(yōu)化的KS-DBSCAN文本聚類算法，該方法通過使用類簇合并策略，有效改善了文本聚類算法的聚類速度。
　　最后，為了驗(yàn)證本文提出算法的有效性，本文使用搜狗語料庫中的新聞文本集作為實(shí)驗(yàn)數(shù)據(jù)集，對文本集使用文本預(yù)處理后，將形式化的文本集分別運(yùn)用本文提出的兩種方法、K-均值方法、高斯均值以及DBSCAN