主題模型在多文檔摘要的應(yīng)用研究.pdf

1、互聯(lián)網(wǎng)領(lǐng)域技術(shù)高速發(fā)展，產(chǎn)生了大量的網(wǎng)絡(luò)數(shù)據(jù)，用戶迫切需要以較快較準(zhǔn)確的方法獲取文本的核心信息，而搜索引擎給出的信息依然過多、過濫，用戶很難通過搜索引擎快速準(zhǔn)確地定位到所需的信息，由此推動了自動文本摘要技術(shù)的產(chǎn)生。自動文摘的本質(zhì)是信息的抽象和減縮，它的研究已經(jīng)延伸到各個領(lǐng)域，應(yīng)用需求帶動研究發(fā)展，自動摘要對滿足人們快速獲取信息的需求有重要作用，因此對它的研究有重大的應(yīng)用價值。
　　首先，本文提出了一種結(jié)合LDA和譜聚類的多文檔摘要

2、方法，考慮了文本的重要性和主題重要性，主題模型LDA（潛在狄利克雷分布）為句子建模，通過發(fā)現(xiàn)文檔的主題詞確定文本重要性，譜聚類確定主題重要性，兩者結(jié)合提高摘要質(zhì)量。在此基礎(chǔ)上提出了一種改進(jìn)方法，SVD降維消除主題數(shù)目不定導(dǎo)致的噪音數(shù)據(jù)，結(jié)合圖排序方法重新確定主題重要性，參數(shù)調(diào)節(jié)使摘要效果更好。通過ROUGE自動摘要評測工具包的評測，結(jié)果表明，后者在摘要評測結(jié)果上提高更多。
　　其次，本文提出了兩種動態(tài)的摘要方法，兩種方法針對不同的