抽取式多文檔文摘的文本表示研究.pdf

1、自動文摘是自然語言處理的一個分支研究領域，本文主要研究其眾多分支中最基礎、也是一直被關注的基于抽取式的多文檔文摘，對多篇文檔提取一個由其中核心句子組成的簡短文摘。多文檔文摘的對象一般是圍繞預定話題、經(jīng)搜集而得的多文檔集合。雖然具有預定話題，但由于文檔來自不同信息源，數(shù)據(jù)中常存在以下3個問題，對文本的準確表示造成影響，影響文摘的準確提取:
　　1.主題不唯一:不同作者對話題闡述的角度不同，多文檔集內(nèi)可能包含除預定義話題以外的其它主題

2、。
　　2.詞義復雜性:因作者用詞習慣不統(tǒng)一和語言的豐富性，易混雜各種同義詞，內(nèi)容繁雜時會存在出現(xiàn)于不同主題的多義詞。
　　3.噪音現(xiàn)象:因文檔以整篇為單位加入數(shù)據(jù)集，可能攜帶無關噪音內(nèi)容。
　　為此，本文引入語義分析模型、語義知識庫和監(jiān)督信息來改進多文檔文摘的文本表示，以提高文摘系統(tǒng)性能。主要研究成果如下:
　　1.提出了基于主題表示的多文檔文摘方法，處理主題不唯一問題。文檔集主題結構訓練、句子的主題表示和句子

3、重要度計算是其主要環(huán)節(jié)，其中:
　　(1)提出背景訓練方法訓練文檔主題結構，解決多文檔文摘數(shù)據(jù)集較小所引起的主題結構訓練準確度和穩(wěn)定性問題。通過將多個文檔集與目標文檔集混合訓練，擴大數(shù)據(jù)規(guī)模，增加詞分布信息輔助訓練，最后得到“訓練集-主題-子主題-單詞”的主題結構。實驗驗證了該方法能提高文摘結果的準確性和穩(wěn)定度。
　　(2)根據(jù)主題結構，提出句子的主題表示法。我們用句中單詞的主題信息構建句子的主題向量，反映句子與主題的相關度

4、。實驗驗證了這一表示法能準確判斷混合后訓練集內(nèi)來自不同文檔集的句子所屬主題。
　　(3)根據(jù)句子的主題表示，提出了一個多文檔文摘方法?；诙辔臋n文摘數(shù)據(jù)具有預定義話題這一特性，主題與越多句子緊密相關時，該主題越重要，同時與其相關的句子也越重要，越可能成為文摘句。實驗結果顯示這一多文檔文摘方法可獲得質量較好的文摘結果。
　　2.提出了基于維基概念表示的多文檔文摘方法，處理詞義復雜性問題。概念形式與提取、句子的概念表示和句子特征

5、計算是其主要環(huán)節(jié)，其中:
　　(1)選擇維基概念和自動維基化方法提取概念，使句子概念表示和相應文摘方法建立在較好通用性、易擴展性與長期有效性的基礎上。
　　(2)改進概念權重計算，獲得句子的概念表示。通過綜合概念在維基百科中的全局信息與在多文檔集內(nèi)的局部信息構建多文檔集的概念網(wǎng)絡，根據(jù)概念的連通性計算概念權重，得到句子的概念向量。實驗觀察證實了這一方法可提取到較有代表性的概念集合，達到準確表示的效果。
　　(3)根據(jù)句

6、子概念表示和維基百科的概念首段信息，提出一個多文檔文摘方法。根據(jù)維基百科中概念的首段即為人工生成的概念文摘這一重要文摘信息，提出相應的句子特征，配合常用句子特征計算句子的重要度。實驗比較證實了維基概念首段的有效性，以及基于維基概念表示的多文檔文摘方法能獲取較好的文摘質量。
　　3.提出了一個基于監(jiān)督的多文檔文摘自動去噪器的學習方法，減少噪音。監(jiān)督信息獲取、特征提取和分類器訓練是該方法的主要環(huán)節(jié)，其中:
　　(1)選擇以語義單

7、位為對象，使用標準文摘提取它的類標信息。從以往對標準文摘分析的研究中，我們發(fā)現(xiàn)標準文摘中存在一定的原文語義單元。因此，我們根據(jù)語義單位是否在標準文摘中出現(xiàn)為監(jiān)督信息，直觀而準確的確定類標。
　　(2)為不同頻率的語義單元設計特征。實驗表明有效和噪音語義單元在高、低頻區(qū)都有可能存在，頻率特征不足以將這兩類單元區(qū)分出來。所以，我們針對高低頻、同頻、高低頻共現(xiàn)語義單元分別設計相應特征。
　　(3)使用二元分類器實現(xiàn)自動去噪。不同數(shù)