基于多語(yǔ)言話題發(fā)現(xiàn)的聚類算法改進(jìn).pdf

1、移動(dòng)設(shè)備的快速發(fā)展，已經(jīng)以超出人們想象的速度占領(lǐng)了用戶終端市場(chǎng)，尤其是以手機(jī)終端設(shè)備為代表，互聯(lián)網(wǎng)已成為公眾傳播和獲取信息的重要平臺(tái)，微博在互聯(lián)網(wǎng)生活中有著深刻的影響力，民眾得到信息的最廣泛直接的渠道成為了互聯(lián)網(wǎng)。網(wǎng)絡(luò)時(shí)代的到來(lái)，不僅使信息來(lái)源變得日益廣泛，用戶對(duì)信息的準(zhǔn)確度、廣泛度、實(shí)時(shí)性和公正性也提出了越來(lái)越高的要求，我國(guó)民眾已經(jīng)不僅僅滿足于獲得國(guó)內(nèi)的相關(guān)資訊，更期待同步了解國(guó)際大眾對(duì)于同一信息的反饋，根據(jù)相關(guān)權(quán)威發(fā)布，目前世界上使

2、用范圍最廣的語(yǔ)言是英語(yǔ)、法語(yǔ)，而英語(yǔ)、漢語(yǔ)、法語(yǔ)是網(wǎng)絡(luò)新聞中的使用頻度最高的幾門(mén)語(yǔ)言[1]。同一事件，在不同的國(guó)度，不同的文化背景下，觀點(diǎn)和看法不一致，用戶更希望通過(guò)多語(yǔ)言、不同視角的報(bào)道中獲取更全面、更完整的信息，為了從海量信息中及時(shí)快速?gòu)V泛地得到用戶需要的信息，研究者一直沒(méi)有放棄對(duì)CLTDT（Cross Language Topic Detection and Tracking，多語(yǔ)言話題檢測(cè)與跟蹤）的研究。
　　本文中，多語(yǔ)

3、言話題發(fā)現(xiàn)系統(tǒng)模型共分五層：信息采集層、預(yù)處理和凈化層、多語(yǔ)言轉(zhuǎn)化層、文本聚類層和信息展示層，在每一層使用的算法中，都結(jié)合新聞媒體特點(diǎn)的進(jìn)行了算法的改進(jìn)和優(yōu)化，形成了新聞話題發(fā)現(xiàn)系統(tǒng)的模型。首先，在多語(yǔ)言轉(zhuǎn)化層中，鑒于目前機(jī)器翻譯的水平已非常精確，本文將多語(yǔ)言通過(guò)Babylon翻譯軟件全部翻譯為公共語(yǔ)言的漢語(yǔ)文檔。其次，LDA（Latent Dirichlet Allocation，隱含狄利克雷分布）算法能快速找到核心詞匯，不過(guò)身處大數(shù)

4、據(jù)時(shí)代，在精準(zhǔn)度方面還有欠缺，而TF-IDF（term frequency-inverse document frequency，詞頻-逆向文件頻率）算法可以將出現(xiàn)頻次很高但并非實(shí)用的常用詞匯進(jìn)行剔除，本文中將二者結(jié)合使用在核心詞匯獲取中。同時(shí)，考慮到篩選出的核心詞匯對(duì)文檔來(lái)說(shuō)都有其重要程度，因此，我們引進(jìn)了核心詞匯的權(quán)值計(jì)算，在這個(gè)算法設(shè)計(jì)里，本文應(yīng)用了文獻(xiàn)23提出的特征項(xiàng)權(quán)值計(jì)算方法，也就是TF-IDF中IDF部分的解決思路。通過(guò)相

5、似度矩陣計(jì)算、核心詞匯聚類發(fā)現(xiàn)話題和建立文本與話題關(guān)聯(lián)完成了核心詞匯的聚類。同時(shí)，在本文話題發(fā)現(xiàn)系統(tǒng)中，由于單通道聚類算法耗時(shí)少，符合新聞報(bào)道自身特點(diǎn)，但又存在聚類誤差的缺陷，而層次聚類算法卻可以隨時(shí)定義簇的起始位置，將兩種算法應(yīng)用在文本聚類的不同階段，有效結(jié)合使用，實(shí)現(xiàn)了話題聚類的在線更新。最后，在多語(yǔ)言話題發(fā)現(xiàn)系統(tǒng)中，由于本文的研究對(duì)象是網(wǎng)絡(luò)新聞媒體，而新聞媒體的時(shí)間特性尤為重要，研究中借鑒了文獻(xiàn)49中的思想，提出了利用邏輯函數(shù)Lo