基于密度的聚類算法及在新聞話題發(fā)現(xiàn)中的應(yīng)用研究.pdf

1、伴隨著互聯(lián)網(wǎng)新興媒體的出現(xiàn)，信息傳播手段日益進步，我們逐步擺脫了信息獲取渠道和內(nèi)容的局限，但是這同時又帶來了信息過載、傳播失控等伴隨問題。人們每天都接觸著海量的新聞話題，其中相當一部分話題是人們不感興趣的，如何進行精準有效的話題發(fā)現(xiàn)是當前擺在我們面前亟待解決的工作。在新聞報道中最核心的一項信息載體就是文本，因此，文本聚類分析成為信息處理中一個非?；A(chǔ)而又關(guān)鍵的問題。在眾多機器學(xué)習(xí)方法中，聚類分析被認為是快速準確地發(fā)現(xiàn)、定位、組織和分析具

2、有特定用途的用戶感興趣信息的高效途徑和關(guān)鍵技術(shù)。通過聚類分析對文本信息數(shù)據(jù)進行簡化處理表示，在新聞話題發(fā)現(xiàn)中有重要的應(yīng)用意義。
　　在研究話題發(fā)現(xiàn)和聚類分析的基礎(chǔ)上，將改進的粒子群算法與密度聚類算法結(jié)合，本文提出了改進的基于粒子群的密度峰值發(fā)現(xiàn)聚類算法，并且把它應(yīng)用于新聞話題發(fā)現(xiàn)中。主要的研究成果包括以下幾個方面：
　?。?）針對密度峰值發(fā)現(xiàn)聚類算法需人工選擇聚類中心的缺點，提出改進的基于粒子群的密度峰值發(fā)現(xiàn)聚類算法

3、　　通過對快速搜索密度峰值發(fā)現(xiàn)算法進行分析，針對其不能自動確定聚類中心的缺點，引入粒子群優(yōu)化算法，將PSO算法和密度峰值發(fā)現(xiàn)聚類算法相結(jié)合，提出PSO-FSDP聚類算法。該算法首先設(shè)置新的適應(yīng)度準則函數(shù)，通過粒子群優(yōu)化算法輸出聚類中心，再進行類簇劃分。實驗證明，該算法能有效解決傳統(tǒng)密度峰值發(fā)現(xiàn)聚類算法中無法自動確定聚類中心的局限性，避免了人工選取過程的主觀性，具有較強的穩(wěn)定性和較快的收斂速度，并且取得了良好的聚類效果。
　?。?）

4、針對文本數(shù)據(jù)高維的特點，將PSO-FSDP聚類算法應(yīng)用于文本聚類中，實現(xiàn)新聞話題的發(fā)現(xiàn)
　　本文通過分析文本向量特征，在快速搜索發(fā)現(xiàn)密度峰值聚類方法的基礎(chǔ)上，將改進的基于粒子群的密度峰值發(fā)現(xiàn)算法應(yīng)用于文本聚類中。該方法用文本之間的相似度代替文本點距離，解決了原算法不適用于高維的文本數(shù)據(jù)的問題。提出了以相似度距離代替文本距離的思想，用 word2vec工具進行文本建模，通過余弦公式計算文本間相似度，獲得文本之間的距離表示，求得每個文

5、本點的密度和其到高密度點的距離，運用 PSO-FSDP算法，選取聚類中心實現(xiàn)文本聚類發(fā)現(xiàn)新聞話題。與其他文本聚類算法相比較，本文算法具有更高的準確率、召回率和 F值，運行過程更加穩(wěn)定，能夠獲得更好的文本聚類結(jié)果。
　?。?）設(shè)計并實現(xiàn)了基于PSO-FSDP算法的新聞話題發(fā)現(xiàn)原型系統(tǒng)
　　通過對文本聚類流程進行分析，針對每個流程設(shè)計了相應(yīng)的功能模塊，設(shè)計并實現(xiàn)了基于PSO-FSDP算法的新聞話題發(fā)現(xiàn)原型系統(tǒng)。該原型系統(tǒng)可以有效