面向主題的關(guān)鍵詞抽取方法研究.pdf

1、關(guān)鍵詞是人們獲取信息的快捷方式，在信息檢索和自然語言處理等領(lǐng)域均有重要的理論價值和應(yīng)用價值?，F(xiàn)有的關(guān)鍵詞抽取方法大都依靠詞匯的統(tǒng)計信息進行抽取，忽略了話題的影響;而且它們僅僅專注于關(guān)鍵詞個體的優(yōu)化，而忽略了關(guān)鍵詞的整體質(zhì)量。本文針對如何對文檔主題建模，并通過文檔主題優(yōu)化關(guān)鍵詞的整體質(zhì)量進行了以下工作:基于整數(shù)線性規(guī)劃的關(guān)鍵詞抽取;基于排序?qū)W習(xí)的摘要關(guān)鍵詞抽取;基于話題翻譯模型的微博關(guān)鍵詞抽取。本文的工作包括:
　　提出了基于整數(shù)線

2、性規(guī)劃的關(guān)鍵詞抽取方法。首先提出全局優(yōu)化關(guān)鍵詞質(zhì)量的意義，并提出高質(zhì)量關(guān)鍵詞應(yīng)具備的準(zhǔn)則。為了對這些準(zhǔn)則建模，提出了一種基于整數(shù)線性規(guī)劃的關(guān)鍵詞抽取方法。所提出的準(zhǔn)則分別轉(zhuǎn)化為整數(shù)線性規(guī)劃問題的目標(biāo)函數(shù)和約束條件。通過求解整數(shù)線性規(guī)劃問題，可以得到高質(zhì)量的關(guān)鍵詞集合。實驗表明該方法能夠在保證關(guān)鍵詞個體質(zhì)量的前提下，同時優(yōu)化關(guān)鍵詞的整體質(zhì)量。
　　提出了基于排序?qū)W習(xí)的新聞?wù)P(guān)鍵詞抽取方法?！靶侣?wù)P(guān)鍵詞”是指若干關(guān)鍵詞的整體作為

3、新聞?wù)Ｊ紫扔懻摿诵侣務(wù)P(guān)鍵詞的價值，并定義了高質(zhì)量的摘要關(guān)鍵詞應(yīng)滿足的準(zhǔn)則。為了對這些準(zhǔn)則建模，提出了一個兩階段基于排序?qū)W習(xí)的摘要關(guān)鍵詞抽取方法。第一階段是候選關(guān)鍵詞的選擇，即從語料中選擇若干個候選關(guān)鍵詞個體;第二階段是將候選關(guān)鍵詞的所有子排列進行重排序，將最好的子排列作為最終的摘要關(guān)鍵詞。實驗表明基于排序?qū)W習(xí)的關(guān)鍵詞抽取方法可以提取高質(zhì)量的新聞?wù)P(guān)鍵詞，同時也驗證了提出特征的有效性。
　　提出了一種面向主題的翻譯模型，并

4、應(yīng)用該模型進行微博關(guān)鍵詞抽取的研究。為了解決微博較短，并且話題多樣化的問題，提出了一種面向主題的翻譯模型。該模型可以很好的綜合話題模型和翻譯模型的優(yōu)點，一方面，它可以解決由微博較短引起的微博內(nèi)容和關(guān)鍵詞間的詞匯差異問題;另一方面，它可以通過對微博主題的建模，幫助抽取主題相關(guān)的微博關(guān)鍵詞。在對微博主題建模的研究中，嘗試了兩種建模方式:第一種是基于經(jīng)典的話題模型Latent Dirichletallocation[12]，即假設(shè)每篇文檔包含