增量聚類在動態(tài)多文檔摘要中的研究與應(yīng)用.pdf

1、Web2.0時代出現(xiàn)的論壇、博客、新聞和在線評論等新媒體每天產(chǎn)生海量文檔信息，因此需要一種高效的方法提取文檔重要內(nèi)容,去除冗余信息，將簡潔，精煉的內(nèi)容呈現(xiàn)給讀者。為了幫助讀者們獲取他們感興趣事件的最新動態(tài)，實現(xiàn)更快的實時更新文摘內(nèi)容，動態(tài)文摘技術(shù)成為一個新的研究熱點(diǎn)。動態(tài)文摘的提取需要同時保證質(zhì)量和效率，目前的動態(tài)文摘研究工作大多是基于批處理原則--以文檔集合為單位進(jìn)行處理。而在實際應(yīng)用中，如新聞更新、災(zāi)難報告、輿情分析等系統(tǒng)，文檔數(shù)據(jù)

2、是不穩(wěn)定的數(shù)據(jù)流，因此需要研究高效的基于數(shù)據(jù)流處理的動態(tài)文摘抽取辦法。
　　為了解決上述問題，本文提出了兩種基于增量聚類算法的動態(tài)多文檔摘要算法：基于改進(jìn) K-means方法的動態(tài)文摘算法和基于KNN增量圖聚類算法的動態(tài)文摘算法。
　　在動態(tài)文摘算法中，聚類的目的是劃分文檔子主題，而多文檔的子主題是潛在的,針對傳統(tǒng) k-means需要人為指定聚類數(shù)的缺點(diǎn)，實現(xiàn)了一種自適應(yīng)的初始中心選擇方法，并通過對句子節(jié)點(diǎn)有用度打分來刪除句

3、子，實現(xiàn)增量聚類流?；?KNN增量圖聚類的動態(tài)文摘算法首先基于 KNN思想來構(gòu)建句子圖模型，利用基于密度分割聚類實現(xiàn)句子分類，同時結(jié)合圖中節(jié)點(diǎn)權(quán)重和時間因素篩選出候選文摘句，根據(jù)摘要長度抽取出動態(tài)文摘。最后實現(xiàn)了本文knn增量圖聚類算法中文輿情動態(tài)文摘抽取原型系統(tǒng)。
　　本文工作的主要貢獻(xiàn)是：提出了兩種新的基于增量聚類方法的動態(tài)文摘抽取算法，實現(xiàn)文摘抽取的流處理——隨著文檔數(shù)據(jù)流到來，實時更新文摘內(nèi)容。根據(jù)動態(tài)文摘的四大特性：重