基于密度的聚類算法及在新聞話題發(fā)現(xiàn)中的應(yīng)用研究.pdf

1、伴隨著互聯(lián)網(wǎng)新興媒體的出現(xiàn)，信息傳播手段日益進(jìn)步，我們逐步擺脫了信息獲取渠道和內(nèi)容的局限，但是這同時(shí)又帶來了信息過載、傳播失控等伴隨問題。人們每天都接觸著海量的新聞話題，其中相當(dāng)一部分話題是人們不感興趣的，如何進(jìn)行精準(zhǔn)有效的話題發(fā)現(xiàn)是當(dāng)前擺在我們面前亟待解決的工作。在新聞報(bào)道中最核心的一項(xiàng)信息載體就是文本，因此，文本聚類分析成為信息處理中一個(gè)非?；A(chǔ)而又關(guān)鍵的問題。在眾多機(jī)器學(xué)習(xí)方法中，聚類分析被認(rèn)為是快速準(zhǔn)確地發(fā)現(xiàn)、定位、組織和分析具

2、有特定用途的用戶感興趣信息的高效途徑和關(guān)鍵技術(shù)。通過聚類分析對(duì)文本信息數(shù)據(jù)進(jìn)行簡化處理表示，在新聞話題發(fā)現(xiàn)中有重要的應(yīng)用意義。
　　在研究話題發(fā)現(xiàn)和聚類分析的基礎(chǔ)上，將改進(jìn)的粒子群算法與密度聚類算法結(jié)合，本文提出了改進(jìn)的基于粒子群的密度峰值發(fā)現(xiàn)聚類算法，并且把它應(yīng)用于新聞話題發(fā)現(xiàn)中。主要的研究成果包括以下幾個(gè)方面：
　?。?）針對(duì)密度峰值發(fā)現(xiàn)聚類算法需人工選擇聚類中心的缺點(diǎn)，提出改進(jìn)的基于粒子群的密度峰值發(fā)現(xiàn)聚類算法

3、　　通過對(duì)快速搜索密度峰值發(fā)現(xiàn)算法進(jìn)行分析，針對(duì)其不能自動(dòng)確定聚類中心的缺點(diǎn)，引入粒子群優(yōu)化算法，將PSO算法和密度峰值發(fā)現(xiàn)聚類算法相結(jié)合，提出PSO-FSDP聚類算法。該算法首先設(shè)置新的適應(yīng)度準(zhǔn)則函數(shù)，通過粒子群優(yōu)化算法輸出聚類中心，再進(jìn)行類簇劃分。實(shí)驗(yàn)證明，該算法能有效解決傳統(tǒng)密度峰值發(fā)現(xiàn)聚類算法中無法自動(dòng)確定聚類中心的局限性，避免了人工選取過程的主觀性，具有較強(qiáng)的穩(wěn)定性和較快的收斂速度，并且取得了良好的聚類效果。
　　（2）

4、針對(duì)文本數(shù)據(jù)高維的特點(diǎn)，將PSO-FSDP聚類算法應(yīng)用于文本聚類中，實(shí)現(xiàn)新聞話題的發(fā)現(xiàn)
　　本文通過分析文本向量特征，在快速搜索發(fā)現(xiàn)密度峰值聚類方法的基礎(chǔ)上，將改進(jìn)的基于粒子群的密度峰值發(fā)現(xiàn)算法應(yīng)用于文本聚類中。該方法用文本之間的相似度代替文本點(diǎn)距離，解決了原算法不適用于高維的文本數(shù)據(jù)的問題。提出了以相似度距離代替文本距離的思想，用 word2vec工具進(jìn)行文本建模，通過余弦公式計(jì)算文本間相似度，獲得文本之間的距離表示，求得每個(gè)文

5、本點(diǎn)的密度和其到高密度點(diǎn)的距離，運(yùn)用 PSO-FSDP算法，選取聚類中心實(shí)現(xiàn)文本聚類發(fā)現(xiàn)新聞話題。與其他文本聚類算法相比較，本文算法具有更高的準(zhǔn)確率、召回率和 F值，運(yùn)行過程更加穩(wěn)定，能夠獲得更好的文本聚類結(jié)果。
　　（3）設(shè)計(jì)并實(shí)現(xiàn)了基于PSO-FSDP算法的新聞話題發(fā)現(xiàn)原型系統(tǒng)
　　通過對(duì)文本聚類流程進(jìn)行分析，針對(duì)每個(gè)流程設(shè)計(jì)了相應(yīng)的功能模塊，設(shè)計(jì)并實(shí)現(xiàn)了基于PSO-FSDP算法的新聞話題發(fā)現(xiàn)原型系統(tǒng)。該原型系統(tǒng)可以有效