形式概念分析在突發(fā)事件新聞文本聚類中的應(yīng)用.pdf

1、文本聚類是聚類方法與自然語(yǔ)言處理相結(jié)合在文本處理中的應(yīng)用，是聚類分析領(lǐng)域的一個(gè)重要研究分支。隨著近年來(lái)互聯(lián)網(wǎng)新聞文本信息的急劇增多，文本聚類的方法得到了很廣泛的應(yīng)用和研究。然而針對(duì)當(dāng)前文本信息結(jié)構(gòu)和內(nèi)容的復(fù)雜化，文本類型的多樣化，傳統(tǒng)的文本聚類方法在文本模型表示、特征選擇等方面仍然存在不足之處。
　　本文以從互聯(lián)網(wǎng)上收集的2000-2009年期間發(fā)生的突發(fā)性新聞?wù)Z料為基礎(chǔ)，針對(duì)傳統(tǒng)向量空間模型特征維數(shù)過(guò)高的缺點(diǎn)，提出將形式概念分析

2、應(yīng)用于文本聚類中，將web文檔表示成形式背景，最后進(jìn)行文本聚類。本文的主要工作如下:
　　1.對(duì)突發(fā)事件新聞文本的特點(diǎn)進(jìn)行了深入的分析，使用概念格模型表示突發(fā)事件新聞文本，改進(jìn)了傳統(tǒng)的向量空間模型表示文本的不足。
　　2.改進(jìn)了特征詞權(quán)重tf-idf計(jì)算方法，在一定程度上提高了形式背景反映文本內(nèi)容的真實(shí)性，最終提高了聚類的效果。
　　3.針對(duì)突發(fā)事件新聞文本的特殊性，對(duì)相似度計(jì)算進(jìn)行了改進(jìn)，單獨(dú)進(jìn)行時(shí)間，地點(diǎn)，內(nèi)容的相