基于子主題的多文檔文摘技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，人們在獲得有效信息的同時，也被越來越多的冗余信息所困擾。因此迫切需要一個幫助人們快速瀏覽工具，該工具通過對相似文檔集合的加工整理，將這些文檔的重要的、全面的信息直接提供給用戶，從而提高了人們獲取信息的效率。因此多文檔文摘的研究逐漸成為研究的熱點。 多文檔文摘是一種文本壓縮技術(shù)，它將同一主題的文檔進行匯總和整理，將多文檔集合中的多次重復(fù)信息以一次出現(xiàn)在文摘中，其他與主題相關(guān)的信息根據(jù)重要性及壓縮比依次進行抽取。

2、 本論文通過對多文檔集合的分析，打破由同一主題獨立文本組成多文檔集合的物理結(jié)構(gòu)，通過將意義相同的句子組合在一起，建立多文檔集合的子主題結(jié)構(gòu)，在此基礎(chǔ)上進行文摘句的抽取和排序工作。與傳統(tǒng)的方法相比，具有以下優(yōu)點：多文檔集合以子主題的形式表示，使文摘內(nèi)容具有更好的平衡性；對子主題進行比較和排序，按壓縮比進行文摘句的優(yōu)化抽取，將重要信息抽取出來，使得到的多文檔文摘包含的信息簡潔全面；多文檔集合子主題形式的提出為多文檔文摘的深入研究奠定基

3、礎(chǔ)。本論文著重對以下問題進行了研究： 1、對句子相似度計算進行深入研究，提出了多特征融合的句子相似度計算方法。句子相似度計算是多文檔文摘的基礎(chǔ)，本文首先根據(jù)句子不同特征分別計算句子的相似度，在此基礎(chǔ)上，將這些特征進行融合，可以更準(zhǔn)確的刻畫句子之間相似度，為下一步工作奠定基礎(chǔ)。 2、提出了根據(jù)閾值自動確定多文檔集合子主題的方法。在句子相似度計算的基礎(chǔ)上，將相似的句子合并為一個類，每類代表一個子主題。在閾值的訓(xùn)練以及聚類的方

4、法上，分別對基于半偏相關(guān)系數(shù)為閾值的層次聚類和基于類間最小距離閾值的層次聚類進行研究，同時根據(jù)多文檔集合相似度分布曲線，提出了描述多文檔集合的泊松分布模型。 3、提出了句子的優(yōu)化選擇方法。為了保證文摘在有限的空間要求下，盡可能覆蓋重要全面的信息，將文摘句的抽取過程分解為子主題的排序以及子主題內(nèi)的句子的優(yōu)化選擇兩個階段。文中給出了子主題打分和排序方法，最后以信息覆蓋率為優(yōu)化目標(biāo)，對子主題內(nèi)句子優(yōu)化選擇。 4、提出了多文檔文

5、摘中文摘句的排序策略及流利度評價方法。為了使用戶正確理解原文的內(nèi)容，使生成的文摘具有較好的可讀性，需要對文摘句排序方法進行研究。本論文提出了幾種文摘句的排序方法，同時給出了流利度自動評價方法，并將該方法與人工評價方法進行比較，最終確定合適的排序方法。 本論文提出了針對同一主題相同時間不同網(wǎng)源的文本集合的多文檔文摘方法，是對多文檔自動文摘初步探索，取得了一定的研究成果。多文檔文摘無論作為獨立的系統(tǒng)還是作為搜索引擎的一部分都將有廣泛