基于潛在語(yǔ)義分析的單文本自動(dòng)摘要方法研究.pdf

1、網(wǎng)絡(luò)技術(shù)的快速發(fā)展使得Internet 成為當(dāng)今人們交換信息的主要場(chǎng)所，信息呈爆炸式的增長(zhǎng)，檢索難度加大。信息摘要對(duì)于信息的發(fā)布者、使用者以及搜索引擎都有著重要的作用，它能夠提高搜索引擎的檢索速度和用戶(hù)獲取信息的速度，然而人工提取摘要工作量巨大，因此自動(dòng)摘要技術(shù)得到了廣泛的重視和研究。
　　 基于篇章結(jié)構(gòu)的自動(dòng)文本摘要方法在近年來(lái)發(fā)展迅速。潛在語(yǔ)義分析是一種篇章結(jié)構(gòu)分析方法，其核心是用于描述文本產(chǎn)生機(jī)制的主題模型。一個(gè)好的主題模

2、型應(yīng)該能把握創(chuàng)作者的思路，即文章所表達(dá)的意思和這些意思之間的轉(zhuǎn)折情況，并且能夠根據(jù)意思選擇合適的詞組織成句。HMM（Hidden Markov Model ）模型將文本看成由句子構(gòu)成的觀察序列，隱藏狀態(tài)是文本的主題，該模型取消了主題的獨(dú)立性假設(shè)，在理論上比較成功地描述了文本的發(fā)生機(jī)制，但是對(duì)于文本摘要，特別是單文本摘要，如果能得知文本各部分主題的長(zhǎng)度，就能夠保證摘要內(nèi)容的平衡性。主題模型的訓(xùn)練離不開(kāi)詞頻統(tǒng)計(jì)，詞語(yǔ)多義現(xiàn)象造成基于詞形的詞

3、頻統(tǒng)計(jì)不準(zhǔn)確，因此需要先對(duì)文本進(jìn)行詞語(yǔ)消歧。
　　 本文的主要工作和貢獻(xiàn)在于：1.研究比較了各種基于WordNet的詞語(yǔ)相關(guān)度計(jì)算方法，做出了一些改進(jìn)；提出了句子連貫度這個(gè)概念，給出了計(jì)算方法，用于詞語(yǔ)消歧任務(wù)；基于WordNet 實(shí)現(xiàn)了自動(dòng)文本摘要的預(yù)處理工作——詞語(yǔ)消歧。2.在詞語(yǔ)消歧的基礎(chǔ)上，基于句際相關(guān)度而不是相似度進(jìn)行句子聚類(lèi)，從而能夠更加合理地初始化潛在語(yǔ)義分析模型。3.提出了一種HMM 擴(kuò)展模型即非獨(dú)立HMM模型—