摘錄式多文檔摘要技術的研究.pdf

1、隨著網絡的發(fā)展,信息獲取變得越來越容易,人們日常所需要處理的信息量也越來越大。如何從眾多的文檔中提取出重要的信息,以幫助人們做快速的瀏覽和擷取,是一項迫切的任務。多文檔摘要技術因此而成為了最近幾年的研究熱點。
　　 本文主要研究的是抽取式通用型多文檔摘要,提出了一種基于生成性文本主題概率模型的多文檔摘要技術,和一種基于排序學習的多文檔摘要技術。本文的主要貢獻有以下幾點:
　　 1.在一個貪婪算法的框架內研究了如何利用主題

2、特征生成高質量的多文檔摘要。在這種框架下,句子的選取最終歸結為度量每個句子對摘要的主題構建的貢獻大小。使用潛狄利克雷分配(Latent Dirichlet Allocation,LDA)模型為句子建模,以捕捉深層次的主題信息。通過分析摘要任務中文本和摘要的內在關系,我們將之量化為一種概率表示,并在此基礎上提出了兩種有效的句子打分方法。在DUC2002會議中使用的通用性多文檔文摘測試集上做了實驗,使用ROUGE自動評測工具對各種方作做了評

3、估。結果表明,我們的方法優(yōu)于單純基于詞頻的方法和其他使用了主題模型的方法。
　　 2.提出了一種通過學習摘要質量預測函數來搜索高質量摘要的新思路。傳統的方法所顯式或隱式地使用的質量預測函數都是啟發(fā)式的,缺乏客觀性。我們認為如果沒有一個客觀的摘要質量預測函數,對高質量摘要的搜索總有些盲目。本文中,我們討論了這種預測函數的可能的形式,論證了獲取這樣一個客觀的預測函數的必要性和可行性,分析了學習這種預測函數對摘要質量底層特征的要求和一

4、些量化的擇優(yōu)方法,并展望了這種較為客觀的摘要預測函數的使用方法。
　　 3.我們設計了一種學習預測函數的方法,并在此之上構建了一個自動摘要系統RBSS。我們借鑒IR&ML領域的排序學習方法,學習得到一個排序函數。不同于可以預測摘要質量分值的回歸函數,我們所學到的排序函數只能夠按照摘要的質量對其做個排序。我們認為這種按質量高低給出的順序就可以幫助我們做高質量摘要的搜索。我們在基本的一元詞頻和其在句內的共現信息上,設計了四個排序特征