基于SinglePass與隱馬爾可夫算法結合的自動文摘.pdf

1、在現(xiàn)代，互聯(lián)網(wǎng)技術發(fā)展得越來越快，互聯(lián)網(wǎng)技術的發(fā)展意味著信息時代的進入了人們的生活。人們也就離不開信息生活。新聞媒體也隨著信息技術的發(fā)展而逐漸壯大。各大新聞報道的事件豐富了人們的生活。對于同時發(fā)生的同一事件，各大新聞媒體都在及時進行報道。人們在生活中，每天都得面對很多的原始新聞，這些新聞并沒有得到及時的整理就被報道出來的。面對這樣的一種狀況，人們會因為跟不上新聞的更新速度而忽略某些重要的新聞信息。此時會發(fā)現(xiàn)，他們會越來越需要一種工具，而

2、這種工具能夠幫人們整理各大新聞報道，對所有的信息新聞事件按照一定的規(guī)律進行分類匯總，方便人們進行快速瀏覽閱讀的新聞工具，并且這種工具能夠對同一特定的新聞事件報道求同存異。如果有了這樣的一種工具，人們就可以有針對性地去瀏覽閱讀自身所關心的一類或者多類新聞報道。這樣，人們不但能夠快速閱讀相關匯總過的信息，更重要的是能節(jié)省人們的寶貴時間。本文通過針對互聯(lián)網(wǎng)上的各大新聞事件，利用對話題的檢測和單事件聚類技術，開發(fā)一個單事件的多文檔文摘系統(tǒng)。該系

3、統(tǒng)能夠對單事件新聞進行聚類，把在網(wǎng)上獲取的新聞信息進行整合并壓縮成自動摘要，遞交給用戶。本文的研究內容主要是:
　　(1)針對單事件聚類的主要算法系統(tǒng)設計。第一，分類采用的是SVM算法。也就是對于單事件集的合進行相似度加權表決的方法來進行分類。第二，學習研究LDA模型。在學習的過程中，對文檔可以同時進行建模，文檔在建模前必須先利用SVM算法進行分類。分類過后最主要的是進行相似度的計算，那么相似度的計算在本文中使用的是LDA模型與S

4、VM相結合的算法。最后，運用Single-Pass和馬爾可夫結合的算法，把分類計算過后得到的新聞文檔集合按單事件進行聚類。
　　(2)單事件的多文檔自動文摘系統(tǒng)的設計與實現(xiàn)。該系統(tǒng)涉及的基礎技術有很多，其中有個是文本的表示。在該模塊里面，在傳統(tǒng)的向量空間里面加入了知網(wǎng)的表示。該表示結合了所有相關的特征詞。用結合一起的特征詞去構造同義詞。把構造出的同義詞集合一起，搭建SVM模型。在句子權重的計算中，使用LexRank算法。用該算法計

5、算得出句子的權重。在這模塊首先做的就是結合句子它本身的特征，結合過后把這些得到的結果再進行一個線性的組合。最后，取得句子的權重，權重則是通過計算得到。在抽取模塊，使用MMR算法。MMR算法也稱為最大邊緣相關算法。該算法是一種抽取摘要句用去除冗余的方法。該算法得到的結果過后，得到的句子通過一定的規(guī)則進行排序再輸出，這樣的話最后得到的是比較通順的文摘。
　　針對上面描述的工作內容，研究的自動文摘系統(tǒng)很符合上述的需求。在實驗中采取的哈爾